lucianotonet commited on
Commit
29950c3
1 Parent(s): 1ac3570

Aprimorar o endpoint de previsão para tipagens claras

Browse files

Adicionada tipagem explícita à função de previsão para melhorar a clareza do código e facilitar a validação dos dados de entrada. Essa mudança não só organiza melhor o processamento de mensagens como também aumenta a robustez da API, permitindo um tratamento de erros mais eficiente.

Files changed (1) hide show
  1. app.py +3 -2
app.py CHANGED
@@ -1,7 +1,8 @@
1
- from fastapi import FastAPI
2
  from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
3
  from qwen_vl_utils import process_vision_info
4
  import torch
 
5
 
6
  app = FastAPI()
7
 
@@ -9,7 +10,7 @@ model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instru
9
  processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
10
 
11
  @app.post("/predict")
12
- async def predict(messages: list):
13
  # Processamento e inferência
14
  text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
15
  image_inputs, video_inputs = process_vision_info(messages)
 
1
+ from fastapi import FastAPI, Body
2
  from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
3
  from qwen_vl_utils import process_vision_info
4
  import torch
5
+ from typing import List, Dict
6
 
7
  app = FastAPI()
8
 
 
10
  processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
11
 
12
  @app.post("/predict")
13
+ async def predict(messages: List[Dict] = Body(...)):
14
  # Processamento e inferência
15
  text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
16
  image_inputs, video_inputs = process_vision_info(messages)