Spaces:
Runtime error
Runtime error
Commit
·
65ac247
1
Parent(s):
495df52
Atualiza modelo para uso de AutoModelForCausalLM
Browse filesSubstitui `Qwen2VLForConditionalGeneration` por `AutoModelForCausalLM` para alinhar com as otimizações do novo modelo. Essa alteração melhora a compatibilidade e garante um desempenho mais eficiente ao lidar com tarefas de geração de texto, mantendo a integração fluida com o restante da aplicação.
app.py
CHANGED
@@ -1,10 +1,10 @@
|
|
1 |
from fastapi import FastAPI
|
2 |
-
from transformers import
|
3 |
import torch
|
4 |
|
5 |
app = FastAPI()
|
6 |
|
7 |
-
model =
|
8 |
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
|
9 |
|
10 |
@app.post("/predict")
|
|
|
1 |
from fastapi import FastAPI
|
2 |
+
from transformers import AutoModelForCausalLM, AutoProcessor
|
3 |
import torch
|
4 |
|
5 |
app = FastAPI()
|
6 |
|
7 |
+
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
|
8 |
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
|
9 |
|
10 |
@app.post("/predict")
|