Atualiza Dockerfile e app.py para modelo Qwen2-VL

Migração para uma base de imagem PyTorch otimizada com CUDA, permitindo melhor desempenho em inferências. A inclusão de um novo script app.py configura uma API FastAPI para interações com o modelo. A especificação de dependências no requirements.txt garante que todas as bibliotecas necessárias estejam instaladas. Essas mudanças visam facilitar a implementação e a utilização do modelo de forma eficiente em ambientes de produção.

Dockerfile

@@ -1,28 +1,26 @@
-FROM ollama/ollama:latest
+# Dockerfile para executar o modelo Qwen2-VL-2B-Instruct no Hugging Face Spaces
 
-RUN apt-get update && apt-get install -y \
-    git \
-    && rm -rf /var/lib/apt/lists/*
+# Usar a imagem base do PyTorch com suporte a CUDA
+FROM pytorch/pytorch:2.1.0-cuda11.8-cudnn8-runtime
 
-# https://huggingface.co/docs/hub/spaces-sdks-docker-first-demo
-RUN useradd -m -u 1000 user
-
-USER user
-ENV HOME=/home/user \
-    PATH=/home/user/.local/bin:$PATH \
-    OLLAMA_HOST=0.0.0.0 \
-    OLLAMA_DEBUG=True
+# Instalar dependências
+COPY requirements.txt ./
+RUN pip install --no-cache-dir -r requirements.txt
 
-# Clonar o modelo do Hugging Face (substitua [nome-do-modelo] pelo modelo desejado)
-# RUN git clone https://huggingface.co/[nome-do-modelo] $HOME/models/[nome-do-modelo]
+# Definir variáveis de ambiente
+ENV HUGGINGFACE_HUB_CACHE=/home/user/.cache/huggingface
+ENV TRANSFORMERS_CACHE=/home/user/.cache/huggingface/transformers
 
-# Copiar o Modelfile para o contêiner
-# COPY --chown=user:user Modelfile $HOME/Modelfile
+# Criar usuário não-root
+RUN useradd -m -u 1000 user
+USER user
+WORKDIR /home/user
 
-# Iniciar o servidor Ollama, baixar o modelo e manter o servidor em execução
-# RUN ollama serve & sleep 5 && ollama pull lucianotonet/llamaclaude && pkill ollama
+# Copiar o código do modelo
+COPY --chown=user:user app.py .
 
-# Expor a porta do Ollama
-EXPOSE 11434
+# Expor a porta para a API
+EXPOSE 7860
 
-CMD ["serve"]
+# Comando para executar a aplicação
+CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]

app.py

@@ -0,0 +1,17 @@
+from fastapi import FastAPI
+from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
+import torch
+
+app = FastAPI()
+
+model = Qwen2VLForConditionalGeneration.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", torch_dtype="auto", device_map="auto")
+processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
+
+@app.post("/predict")
+async def predict(messages: list):
+    # Processamento e inferência
+    text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    inputs = processor(text=[text], padding=True, return_tensors="pt").to("cuda")  # Altere para "cpu" se não tiver GPU
+    generated_ids = model.generate(**inputs, max_new_tokens=128)
+    output_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
+    return {"response": output_text}

requirements.txt

@@ -0,0 +1,6 @@
+transformers
+accelerate
+safetensors
+sentencepiece
+fastapi
+uvicorn