Upload main.py

src/main.py

@@ -34,13 +34,13 @@ def download_model(repo_id, filename, save_path):
 
 # Download the model if it doesn't exist
 if not os.path.exists(model_path):
-    download_model("adeptusnull/llama3.2-1b-wizardml-vicuna-uncensored-finetune-test", filename, model_path)
+    download_model("PurpleAILAB/Llama3.2-3B-uncensored-SQLi-Q4_K_M-GGUF", filename, model_path)
 
 def main():
     model_path = "models/unsloth.Q4_K_M.gguf"  # Path to the downloaded model
     db_path = "agent.db"
     system_prompt = "Vous êtes l'assistant intelligent de Les Chronique MTC. Votre rôle est d'aider les visiteurs en expliquant le contenu des Chroniques, Flash Infos et Chronique-FAQ de Michel Thomas. Utilisez le contexte fourni pour améliorer vos réponses et veillez à ce qu'elles soient précises et pertinentes."
-    max_tokens = 500
+    max_tokens = 512
     temperature = 0.7
     top_p = 0.95
 
@@ -53,7 +53,7 @@ def main():
     # Load the model
     llm = Llama(
         model_path=model_path,
-        n_ctx=572,  # Set the maximum context length
+        n_ctx=1072,  # Set the maximum context length
         max_tokens=max_tokens  # Control the maximum number of tokens generated in the response
     )