Update app.py

app.py

@@ -1,15 +1,28 @@
-from functools import lru_cache
-import gradio as gr
-import threading
-import time
 from huggingface_hub import InferenceClient
+import gradio as gr
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 system_prompt = "Deberás proporcinar código limpio, resumido, investigando cada línea en internet en foros, revisa stackoverflow.com para consultas, elimina comentarios siempre, concatena el funcionamiento de los bloques y bibliotecas, y esquematiza el funcionamiento global del código. Preveé posibles errores y complementa al final con una tabla explicando el funcionamiento, propon alternativas de bibliotecas para solucionar errores, siempre consulta internet para posibles resoluciones."
 system_prompt_sent = False
 
-@lru_cache(maxsize=128)
-def generate_text(prompt, temperature=0.9, max_new_tokens=4096, top_p=0.95, repetition_penalty=1.0):
+def format_prompt(message, history):
+    global system_prompt_sent
+    prompt = "<s>"
+
+    if not any(f"[INST] {system_prompt} [/INST]" in user_prompt for user_prompt, _ in history):
+        prompt += f"[INST] {system_prompt} [/INST]"
+        system_prompt_sent = True
+
+    for user_prompt, bot_response in history:
+        prompt += f"[INST] {user_prompt} [/INST]"
+        prompt += f" {bot_response}</s> "
+
+    prompt += f"[INST] {message} [/INST]"
+    return prompt
+
+def generate(
+    prompt, history, temperature=0.9, max_new_tokens=4096, top_p=0.95, repetition_penalty=1.0,
+):
     global system_prompt_sent
     temperature = float(temperature)
     if temperature < 1e-2:
@@ -25,35 +38,17 @@ def generate_text(prompt, temperature=0.9, max_new_tokens=4096, top_p=0.95, repe
         seed=42,
     )
 
-    formatted_prompt = format_prompt(prompt, system_prompt_sent)
-
+    formatted_prompt = format_prompt(prompt, history)
+    
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=True)
     output = ""
 
     for response in stream:
         output += response.token.text
-
-    system_prompt_sent = False
+        yield output
 
     return output
 
-def format_prompt(message, system_prompt_sent):
-    prompt = " "
-
-    if not system_prompt_sent:
-        prompt += f"[INST] {system_prompt} [/   "
-        system_prompt_sent = True
-
-    return prompt
-
-def generate(
-    message, history, temperature=0.9, max_new_tokens=4096, top_p=0.95, repetition_penalty=1.0,
-):
-    t = threading.Thread(target=generate_text, args=(message, temperature, max_new_tokens, top_p, repetition_penalty))
-    t.start()
-    t.join()
-    return generate_text.cache_info()[1], generate_text(message, temperature, max_new_tokens, top_p, repetition_penalty)
-
 chat_interface = gr.ChatInterface(
     fn=generate,
     chatbot=gr.Chatbot(show_label=False, show_share_button=False, show_copy_button=False, likeable=False, layout="vertical", height=900),