app.py

import streamlit as st
import os
from transformers import AutoModelForCausalLM, AutoTokenizer

# Obtener la API key desde la variable de entorno
api_key = os.getenv("HF_API_KEY")

# Cargar el modelo de OpenAssistant con la API key
model = AutoModelForCausalLM.from_pretrained("OpenAssistant/falcon-7b-sft-mix-2000", use_auth_token=api_key, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("OpenAssistant/falcon-7b-sft-mix-2000", use_auth_token=api_key)

# Función para generar una respuesta usando el modelo cargado
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs)
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response

# Crear la interfaz de usuario con Streamlit
st.title("Asistente de OpenAssistant")
st.write("Introduce un texto para obtener una respuesta generada:")

user_input = st.text_area("Tu mensaje:", height=150)

if st.button("Generar respuesta"):
    if user_input:
        with st.spinner("Generando respuesta..."):
            response = generate_response(user_input)
            st.subheader("Respuesta generada:")
            st.write(response)
    else:
        st.warning("Por favor, ingresa un mensaje.")