Create app.py

app.py

@@ -0,0 +1,182 @@
+import spaces
+import os
+import random
+from llama_cpp import Llama
+from llama_cpp_agent import LlamaCppAgent, MessagesFormatterType
+from llama_cpp_agent.providers import LlamaCppPythonProvider
+from llama_cpp_agent.chat_history import BasicChatHistory
+from llama_cpp_agent.chat_history.messages import Roles
+import gradio as gr
+from huggingface_hub import hf_hub_download
+
+token_huggingface = os.getenv("HUGGINGFACE_TOKEN")
+
+hf_hub_download(
+    repo_id="bartowski/gemma-2-2b-it-abliterated-GGUF",
+    filename="gemma-2-2b-it-abliterated-Q4_K_M.gguf",
+    local_dir="./models",
+    token=token_huggingface
+)
+
+llm = None
+
+# Arrays para la generación de personalidades
+rasgos_personalidad = [
+    "extrovertido", "introvertido", "amable", "reservado", "creativo", "analítico",
+    "aventurero", "cauteloso", "optimista", "pesimista", "empático", "pragmático"
+]
+
+intereses = [
+    "ciencia", "arte", "deportes", "literatura", "tecnología", "cocina",
+    "viajes", "música", "cine", "historia", "filosofía", "naturaleza"
+]
+
+profesiones = [
+    "médico", "ingeniero", "artista", "profesor", "chef", "escritor",
+    "deportista", "científico", "músico", "empresario", "abogado", "periodista"
+]
+
+def generar_personalidad():
+    rasgos = random.sample(rasgos_personalidad, 3)
+    interes = random.choice(intereses)
+    profesion = random.choice(profesiones)
+    
+    prompt_personalidad = f"""Crea una personalidad detallada basada en los siguientes rasgos:
+    - Rasgos principales: {', '.join(rasgos)}
+    - Interés principal: {interes}
+    - Profesión: {profesion}
+    
+    Proporciona una descripción de 3-4 oraciones sobre cómo es esta persona, su forma de hablar y comportarse."""
+
+    return generar_descripcion_personalidad(prompt_personalidad)
+
+def generar_descripcion_personalidad(prompt):
+    global llm
+    
+    if llm is None:
+        llm = Llama(
+            model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
+            flash_attn=True,
+            n_gpu_layers=81,
+            n_batch=1024,
+            n_ctx=8192,
+        )
+    
+    proveedor = LlamaCppPythonProvider(llm)
+    agente = LlamaCppAgent(
+        proveedor,
+        system_prompt="Eres un creador de personalidades detalladas y creativas.",
+        predefined_messages_formatter_type=MessagesFormatterType.GEMMA_2,
+        debug_output=False
+    )
+    
+    configuracion = proveedor.get_provider_default_settings()
+    configuracion.temperature = 0.7
+    configuracion.max_tokens = 300
+    
+    respuesta = agente.get_chat_response(prompt, llm_sampling_settings=configuracion)
+    return respuesta
+
+@spaces.GPU(duration=120)
+def responder(
+    mensaje,
+    historial: list[tuple[str, str]],
+    mensaje_sistema,
+    max_tokens,
+    temperatura,
+    top_p,
+    top_k,
+    penalizacion_repeticion,
+):
+    plantilla_chat = MessagesFormatterType.GEMMA_2
+    global llm
+    
+    if llm is None:
+        llm = Llama(
+            model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
+            flash_attn=True,
+            n_gpu_layers=81,
+            n_batch=1024,
+            n_ctx=8192,
+        )
+    
+    proveedor = LlamaCppPythonProvider(llm)
+    agente = LlamaCppAgent(
+        proveedor,
+        system_prompt=f"{mensaje_sistema}",
+        predefined_messages_formatter_type=plantilla_chat,
+        debug_output=True
+    )
+    
+    configuracion = proveedor.get_provider_default_settings()
+    configuracion.temperature = temperatura
+    configuracion.top_k = top_k
+    configuracion.top_p = top_p
+    configuracion.max_tokens = max_tokens
+    configuracion.repeat_penalty = penalizacion_repeticion
+    configuracion.stream = True
+    
+    mensajes = BasicChatHistory()
+    for msj in historial:
+        usuario = {
+            'role': Roles.user,
+            'content': msj[0]
+        }
+        asistente = {
+            'role': Roles.assistant,
+            'content': msj[1]
+        }
+        mensajes.add_message(usuario)
+        mensajes.add_message(asistente)
+    
+    flujo = agente.get_chat_response(
+        mensaje,
+        llm_sampling_settings=configuracion,
+        chat_history=mensajes,
+        returns_streaming_generator=True,
+        print_output=False
+    )
+    
+    salida = ""
+    for fragmento in flujo:
+        salida += fragmento
+        yield salida
+
+def actualizar_mensaje_sistema(personalidad):
+    return f"Eres un personaje con la siguiente personalidad: {personalidad}. Actúa y responde de acuerdo a estas características en todo momento."
+
+def interfaz_chat():
+    with gr.Blocks() as demo:
+        gr.Markdown("# Chat de Rol Play con Gemma 2B")
+        
+        with gr.Row():
+            generar_btn = gr.Button("Generar Nueva Personalidad")
+            personalidad_output = gr.Textbox(label="Personalidad Generada", lines=4, interactive=False)
+        
+        chatbot = gr.Chatbot(scale=1, likeable=False, show_copy_button=True)
+        msg = gr.Textbox(label="Tu mensaje")
+        clear = gr.Button("Limpiar")
+        
+        with gr.Accordion("Configuración Avanzada", open=False):
+            sistema_msg = gr.Textbox(value="Eres un asistente útil.", label="Mensaje del sistema", lines=3)
+            max_tokens = gr.Slider(minimum=1, maximum=4096, value=2048, step=1, label="Tokens máximos")
+            temperatura = gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperatura")
+            top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p")
+            top_k = gr.Slider(minimum=0, maximum=100, value=40, step=1, label="Top-k")
+            penalizacion = gr.Slider(minimum=0.0, maximum=2.0, value=1.1, step=0.1, label="Penalización por repetición")
+        
+        def on_generar_personalidad():
+            personalidad = generar_personalidad()
+            sistema_msg.update(value=actualizar_mensaje_sistema(personalidad))
+            return personalidad
+        
+        generar_btn.click(on_generar_personalidad, outputs=[personalidad_output, sistema_msg])
+        
+        msg.submit(responder, [msg, chatbot, sistema_msg, max_tokens, temperatura, top_p, top_k, penalizacion], [chatbot, msg])
+        clear.click(lambda: None, None, chatbot, queue=False)
+    
+    return demo
+
+if __name__ == "__main__":
+    demo = interfaz_chat()
+    demo.launch()