Spaces:
Sleeping
Sleeping
Upload 2 files
Browse files
app.py
CHANGED
@@ -87,7 +87,7 @@ def respond(
|
|
87 |
llm = Llama(
|
88 |
model_path=model_path,
|
89 |
n_ctx=500, # Set the maximum context length
|
90 |
-
max_tokens=
|
91 |
)
|
92 |
|
93 |
agent = Agent(llm, db_path, system_prompt)
|
|
|
87 |
llm = Llama(
|
88 |
model_path=model_path,
|
89 |
n_ctx=500, # Set the maximum context length
|
90 |
+
max_tokens=500 # Control the maximum number of tokens generated in the response
|
91 |
)
|
92 |
|
93 |
agent = Agent(llm, db_path, system_prompt)
|
main.py
CHANGED
@@ -40,7 +40,7 @@ def main():
|
|
40 |
model_path = "models/unsloth.Q4_K_M.gguf" # Path to the downloaded model
|
41 |
db_path = "agent.db"
|
42 |
system_prompt = "Vous êtes l'assistant intelligent de Les Chronique MTC. Votre rôle est d'aider les visiteurs en expliquant le contenu des Chroniques, Flash Infos et Chronique-FAQ de Michel Thomas. Utilisez le contexte fourni pour améliorer vos réponses et veillez à ce qu'elles soient précises et pertinentes."
|
43 |
-
max_tokens =
|
44 |
temperature = 0.7
|
45 |
top_p = 0.95
|
46 |
|
|
|
40 |
model_path = "models/unsloth.Q4_K_M.gguf" # Path to the downloaded model
|
41 |
db_path = "agent.db"
|
42 |
system_prompt = "Vous êtes l'assistant intelligent de Les Chronique MTC. Votre rôle est d'aider les visiteurs en expliquant le contenu des Chroniques, Flash Infos et Chronique-FAQ de Michel Thomas. Utilisez le contexte fourni pour améliorer vos réponses et veillez à ce qu'elles soient précises et pertinentes."
|
43 |
+
max_tokens = 500
|
44 |
temperature = 0.7
|
45 |
top_p = 0.95
|
46 |
|