app.py

import spaces
import os
from llama_cpp import Llama
from llama_cpp_agent import LlamaCppAgent, MessagesFormatterType
from llama_cpp_agent.providers import LlamaCppPythonProvider
from llama_cpp_agent.chat_history import BasicChatHistory
from llama_cpp_agent.chat_history.messages import Roles
import gradio as gr
from huggingface_hub import hf_hub_download

token_huggingface = os.getenv("HUGGINGFACE_TOKEN")

hf_hub_download(
 repo_id="bartowski/gemma-2-2b-it-abliterated-GGUF",
 filename="gemma-2-2b-it-abliterated-Q4_K_M.gguf",
 local_dir="./models",
 token=token_huggingface
)

llm = None

@spaces.GPU(duration=120)
def responder(
 mensaje,
 historial: list[tuple[str, str]],
 mensaje_sistema,
 max_tokens,
 temperatura,
 top_p,
 top_k,
 penalizacion_repeticion,
):
 plantilla_chat = MessagesFormatterType.GEMMA_2

 global llm
 
 if llm is None:
 llm = Llama(
 model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
 flash_attn=True,
 n_gpu_layers=81,
 n_batch=1024,
 n_ctx=8192,
 )

 proveedor = LlamaCppPythonProvider(llm)

 agente = LlamaCppAgent(
 proveedor,
 system_prompt=f"{mensaje_sistema}",
 predefined_messages_formatter_type=plantilla_chat,
 debug_output=True
 )
 
 configuracion = proveedor.get_provider_default_settings()
 configuracion.temperature = temperatura
 configuracion.top_k = top_k
 configuracion.top_p = top_p
 configuracion.max_tokens = max_tokens
 configuracion.repeat_penalty = penalizacion_repeticion
 configuracion.stream = True

 mensajes = BasicChatHistory()

 for msj in historial:
 usuario = {
 'role': Roles.user,
 'content': msj[0]
 }
 asistente = {
 'role': Roles.assistant,
 'content': msj[1]
 }
 mensajes.add_message(usuario)
 mensajes.add_message(asistente)
 
 flujo = agente.get_chat_response(
 mensaje,
 llm_sampling_settings=configuracion,
 chat_history=mensajes,
 returns_streaming_generator=True,
 print_output=False
 )
 
 salida = ""
 for fragmento in flujo:
 salida += fragmento
 yield salida

descripcion = """<p align="center">Chat con Gemma 2B Abliterated usando llama.cpp</p>
<p><center>
<a href="https://huggingface.co/google/gemma-2-2b-it" target="_blank">[Modelo Gemma 2B it]</a>
<a href="https://huggingface.co/google/gemma-2-2b-it-GGUF" target="_blank">[Modelo Gemma 2B it GGUF]</a>
</center></p>
"""

demo = gr.ChatInterface(
 responder,
 additional_inputs=[
 gr.Textbox(value="Eres un asistente útil.", label="Mensaje del sistema"),
 gr.Slider(minimum=1, maximum=4096, value=2048, step=1, label="Tokens máximos"),
 gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperatura"),
 gr.Slider(
 minimum=0.1,
 maximum=1.0,
 value=0.95,
 step=0.05,
 label="Top-p",
 ),
 gr.Slider(
 minimum=0,
 maximum=100,
 value=40,
 step=1,
 label="Top-k",
 ),
 gr.Slider(
 minimum=0.0,
 maximum=2.0,
 value=1.1,
 step=0.1,
 label="Penalización por repetición",
 ),
 ],
 retry_btn="Reintentar",
 undo_btn="Deshacer",
 clear_btn="Limpiar",
 submit_btn="Enviar",
 title="Chat con Gemma 2B usando llama.cpp", 
 description=descripcion,
 chatbot=gr.Chatbot(
 scale=1, 
 likeable=False,
 show_copy_button=True
 )
)

if __name__ == "__main__":
 demo.launch()