lucianotonet commited on
Commit
65ac247
·
1 Parent(s): 495df52

Atualiza modelo para uso de AutoModelForCausalLM

Browse files

Substitui `Qwen2VLForConditionalGeneration` por `AutoModelForCausalLM` para alinhar com as otimizações do novo modelo. Essa alteração melhora a compatibilidade e garante um desempenho mais eficiente ao lidar com tarefas de geração de texto, mantendo a integração fluida com o restante da aplicação.

Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -1,10 +1,10 @@
1
  from fastapi import FastAPI
2
- from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
3
  import torch
4
 
5
  app = FastAPI()
6
 
7
- model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
8
  processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
9
 
10
  @app.post("/predict")
 
1
  from fastapi import FastAPI
2
+ from transformers import AutoModelForCausalLM, AutoProcessor
3
  import torch
4
 
5
  app = FastAPI()
6
 
7
+ model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
8
  processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
9
 
10
  @app.post("/predict")