Update app.py

app.py

@@ -1,24 +1,20 @@
 import streamlit as st
-import requests
+import os
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-# Configuración de la API Key de Hugging Face
-API_KEY = "tu_api_key_aqui"
-MODEL_ID = "OpenAssistant/falcon-7b-sft-mix-2000"  # Reemplaza con el modelo deseado
+# Obtener la API key desde la variable de entorno
+api_key = os.getenv("HF_API_KEY")
 
-# Función para hacer una solicitud a la API de Hugging Face
-def get_response_from_model(prompt):
-    url = f"https://api-inference.huggingface.co/models/{MODEL_ID}"
-    headers = {
-        "Authorization": f"Bearer {API_KEY}"
-    }
-    data = {
-        "inputs": prompt,
-    }
-    response = requests.post(url, headers=headers, json=data)
-    if response.status_code == 200:
-        return response.json()[0]['generated_text']
-    else:
-        return f"Error: {response.status_code} - {response.text}"
+# Cargar el modelo de OpenAssistant con la API key
+model = AutoModelForCausalLM.from_pretrained("OpenAssistant/falcon-7b-sft-mix-2000", use_auth_token=api_key)
+tokenizer = AutoTokenizer.from_pretrained("OpenAssistant/falcon-7b-sft-mix-2000", use_auth_token=api_key)
+
+# Función para generar una respuesta usando el modelo cargado
+def generate_response(prompt):
+    inputs = tokenizer(prompt, return_tensors="pt")
+    outputs = model.generate(**inputs)
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return response
 
 # Crear la interfaz de usuario con Streamlit
 st.title("Asistente de OpenAssistant")
@@ -29,7 +25,7 @@ user_input = st.text_area("Tu mensaje:", height=150)
 if st.button("Generar respuesta"):
     if user_input:
         with st.spinner("Generando respuesta..."):
-            response = get_response_from_model(user_input)
+            response = generate_response(user_input)
             st.subheader("Respuesta generada:")
             st.write(response)
     else: