Spaces:
Runtime error
Runtime error
lucianotonet
commited on
Commit
•
29950c3
1
Parent(s):
1ac3570
Aprimorar o endpoint de previsão para tipagens claras
Browse filesAdicionada tipagem explícita à função de previsão para melhorar a clareza do código e facilitar a validação dos dados de entrada. Essa mudança não só organiza melhor o processamento de mensagens como também aumenta a robustez da API, permitindo um tratamento de erros mais eficiente.
app.py
CHANGED
@@ -1,7 +1,8 @@
|
|
1 |
-
from fastapi import FastAPI
|
2 |
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
|
3 |
from qwen_vl_utils import process_vision_info
|
4 |
import torch
|
|
|
5 |
|
6 |
app = FastAPI()
|
7 |
|
@@ -9,7 +10,7 @@ model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instru
|
|
9 |
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
|
10 |
|
11 |
@app.post("/predict")
|
12 |
-
async def predict(messages:
|
13 |
# Processamento e inferência
|
14 |
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
|
15 |
image_inputs, video_inputs = process_vision_info(messages)
|
|
|
1 |
+
from fastapi import FastAPI, Body
|
2 |
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
|
3 |
from qwen_vl_utils import process_vision_info
|
4 |
import torch
|
5 |
+
from typing import List, Dict
|
6 |
|
7 |
app = FastAPI()
|
8 |
|
|
|
10 |
processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
|
11 |
|
12 |
@app.post("/predict")
|
13 |
+
async def predict(messages: List[Dict] = Body(...)):
|
14 |
# Processamento e inferência
|
15 |
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
|
16 |
image_inputs, video_inputs = process_vision_info(messages)
|