Update app.py

app.py

@@ -1,4 +1,3 @@
-import spaces
 import os
 import random
 from llama_cpp import Llama
@@ -22,66 +21,57 @@ llm = None
 
 # Arrays para la generación de personalidades
 rasgos_personalidad = [
-    "extrovertido", "introvertido", "amable", "reservado", "creativo", "analítico",
-    "aventurero", "cauteloso", "optimista", "pesimista", "empático", "pragmático"
+    "Extrovertido y carismático, siempre el alma de la fiesta.",
+    "Introvertido y reflexivo, con una rica vida interior.",
+    "Analítico y metódico, siempre buscando la lógica en todo.",
+    "Creativo y soñador, con una imaginación desbordante.",
+    "Empático y compasivo, siempre pensando en los demás."
 ]
 
 intereses = [
-    "ciencia", "arte", "deportes", "literatura", "tecnología", "cocina",
-    "viajes", "música", "cine", "historia", "filosofía", "naturaleza"
+    "Apasionado por la ciencia y la tecnología, siempre al día con los últimos avances.",
+    "Amante del arte en todas sus formas, desde la pintura hasta la música.",
+    "Entusiasta de los deportes y la actividad física, siempre en movimiento.",
+    "Aficionado a la literatura y la escritura, con una biblioteca personal impresionante.",
+    "Fascinado por la historia y las culturas antiguas, un verdadero erudito."
 ]
 
 profesiones = [
-    "médico", "ingeniero", "artista", "profesor", "chef", "escritor",
-    "deportista", "científico", "músico", "empresario", "abogado", "periodista"
+    "Médico dedicado, especializado en medicina de emergencias.",
+    "Ingeniero innovador, trabajando en proyectos de energía renovable.",
+    "Artista multidisciplinario, explorando nuevas formas de expresión.",
+    "Profesor universitario, inspirando a la próxima generación de pensadores.",
+    "Emprendedor visionario, fundador de varias startups exitosas."
 ]
 
-def generar_personalidad():
-    rasgos = random.sample(rasgos_personalidad, 3)
-    interes = random.choice(intereses)
-    profesion = random.choice(profesiones)
-    
-    prompt_personalidad = f"""Crea una personalidad detallada basada en los siguientes rasgos:
-    - Rasgos principales: {', '.join(rasgos)}
-    - Interés principal: {interes}
-    - Profesión: {profesion}
-    
-    Proporciona una descripción de 3-4 oraciones sobre cómo es esta persona, su forma de hablar y comportarse."""
+trasfondos = [
+    "Creció en una pequeña ciudad costera, lo que le dio una perspectiva única sobre la vida.",
+    "Proviene de una familia de inmigrantes, lo que ha moldeado su visión del mundo.",
+    "Pasó su juventud viajando por el mundo, acumulando experiencias diversas.",
+    "Superó grandes adversidades en su infancia, lo que le hizo más resiliente.",
+    "Creció en una comunidad muy unida, valorando profundamente las relaciones personales."
+]
 
-    return generar_descripcion_personalidad(prompt_personalidad)
+filosofias = [
+    "Cree firmemente en el poder de la educación para cambiar el mundo.",
+    "Aboga por la sostenibilidad y la protección del medio ambiente en todo lo que hace.",
+    "Valora la honestidad y la integridad por encima de todo.",
+    "Busca constantemente el equilibrio entre la tradición y la innovación.",
+    "Cree en el poder de la colaboración y el trabajo en equipo para lograr grandes cosas."
+]
 
-def generar_descripcion_personalidad(prompt):
-    global llm
-    
-    if llm is None:
-        llm = Llama(
-            model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
-            flash_attn=True,
-            n_gpu_layers=81,
-            n_batch=1024,
-            n_ctx=8192,
-        )
-    
-    proveedor = LlamaCppPythonProvider(llm)
-    agente = LlamaCppAgent(
-        proveedor,
-        system_prompt="Eres un creador de personalidades detalladas y creativas.",
-        predefined_messages_formatter_type=MessagesFormatterType.GEMMA_2,
-        debug_output=False
+def generar_personalidad():
+    return (
+        random.choice(rasgos_personalidad) + " " +
+        random.choice(intereses) + " " +
+        random.choice(profesiones) + " " +
+        random.choice(trasfondos) + " " +
+        random.choice(filosofias)
     )
-    
-    configuracion = proveedor.get_provider_default_settings()
-    configuracion.temperature = 0.7
-    configuracion.max_tokens = 300
-    
-    respuesta = agente.get_chat_response(prompt, llm_sampling_settings=configuracion)
-    return respuesta
 
-@spaces.GPU(duration=120)
 def responder(
     mensaje,
     historial: list[tuple[str, str]],
-    mensaje_sistema,
     max_tokens,
     temperatura,
     top_p,
@@ -93,18 +83,23 @@ def responder(
     if llm is None:
         llm = Llama(
             model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
-            flash_attn=True,
-            n_gpu_layers=81,
-            n_batch=1024,
-            n_ctx=8192,
+            n_ctx=2048,
         )
-    
+
     plantilla_chat = MessagesFormatterType.GEMMA_2
     
+    if not historial:
+        # Generar personalidad al inicio del chat
+        personalidad = generar_personalidad()
+        mensaje_sistema = f"Eres un personaje con la siguiente personalidad: {personalidad}. Actúa y responde de acuerdo a estas características en todo momento."
+        historial.append(("Sistema", f"Se ha generado una nueva personalidad: {personalidad}"))
+    else:
+        mensaje_sistema = historial[0][1].split(": ", 1)[1]
+    
     proveedor = LlamaCppPythonProvider(llm)
     agente = LlamaCppAgent(
         proveedor,
-        system_prompt=f"{mensaje_sistema}",
+        system_prompt=mensaje_sistema,
         predefined_messages_formatter_type=plantilla_chat,
         debug_output=True
     )
@@ -118,7 +113,7 @@ def responder(
     configuracion.stream = True
     
     mensajes = BasicChatHistory()
-    for msj in historial:
+    for msj in historial[1:]:  # Excluimos el mensaje del sistema
         usuario = {
             'role': Roles.user,
             'content': msj[0]
@@ -141,26 +136,7 @@ def responder(
     salida = ""
     for fragmento in flujo:
         salida += fragmento
-        yield salida
-
-def chat_with_personality(message, history):
-    if not history:
-        # Primera interacción, generamos la personalidad
-        personalidad = generar_personalidad()
-        mensaje_sistema = f"Eres un personaje con la siguiente personalidad: {personalidad}. Actúa y responde de acuerdo a estas características en todo momento."
-        history.append(("Sistema", f"Se ha generado una nueva personalidad: {personalidad}"))
-    else:
-        mensaje_sistema = history[0][1].split(": ", 1)[1]
-    
-    # Configuración por defecto
-    max_tokens = 2048
-    temperatura = 0.7
-    top_p = 0.95
-    top_k = 40
-    penalizacion_repeticion = 1.1
-    
-    for response in responder(message, history[1:], mensaje_sistema, max_tokens, temperatura, top_p, top_k, penalizacion_repeticion):
-        yield history + [(message, response)]
+        yield historial + [(mensaje, salida)]
 
 descripcion = """<p align="center">Chat de Rol Play con Gemma 2B Abliterated usando llama.cpp</p>
 <p>Este chat genera automáticamente una personalidad al inicio de la conversación y luego responde de acuerdo a esa personalidad.</p>
@@ -170,12 +146,17 @@ descripcion = """<p align="center">Chat de Rol Play con Gemma 2B Abliterated usa
 </center></p>"""
 
 demo = gr.ChatInterface(
-    chat_with_personality,
+    responder,
+    additional_inputs=[
+        gr.Slider(minimum=1, maximum=2048, value=1024, step=1, label="Tokens máximos"),
+        gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.1, label="Temperatura"),
+        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p"),
+        gr.Slider(minimum=0, maximum=100, value=40, step=1, label="Top-k"),
+        gr.Slider(minimum=1.0, maximum=2.0, value=1.1, step=0.1, label="Penalización por repetición"),
+    ],
     chatbot=gr.Chatbot(height=500),
-    textbox=gr.Textbox(placeholder="Escribe tu mensaje aquí...", container=False, scale=7),
     title="Chat de Rol Play con Gemma 2B",
     description=descripcion,
-    theme="soft",
     examples=[
         "Hola, ¿cómo estás?",
         "¿Puedes contarme sobre tu día típico?",