change

app.py

@@ -61,11 +61,11 @@ Dans la situation que tu vas me donner (en quelques 4 ou 5 phrases comme si tu t
 5) N’hésites pas à innover sur le ton à utiliser car n’oublies pas que tu dois faire comme si tu parlais à un humain. Ce ton peut être adapté et ne pas toujours être le même en fonction des cas.
 """
 instructions_par_defaut = (
-        "Vous êtes un expert en service client. Résumez la plainte suivante en extrayant les informations clés : "
-        "1. Objet de la plainte. "
-        "2. Détails incluant le numéro client, le problème et les dates importantes. "
-        "3. Actions prises et suivis incluant les dates et les personnes impliquées. "
-        "4. Toute action supplémentaire ou recommandation nécessaire."
+        "Fais moi un résumé détaillé de ce plainte : "
+        # "1. Objet de la plainte. "
+        # "2. Détails incluant le numéro client, le problème et les dates importantes. "
+        # "3. Actions prises et suivis incluant les dates et les personnes impliquées. "
+        # "4. Toute action supplémentaire ou recommandation nécessaire."
     )
 class TextSummary(BaseModel): 
     prompt:str 
@@ -81,29 +81,29 @@ class RequestModel(BaseModel):
 @app.post("/generate/")
 async def generate_text(request: RequestModel):
     # Créer la requête pour l'API NVIDIA
-    # completion = client.chat.completions.create(
-    #     model="meta/llama-3.1-8b-instruct", 
-    #     messages=[{"role": "user", "content": default_prompt + request.text}],
-    #     temperature=0.2,
-    #     top_p=0.7,
-    #     max_tokens=1024,
-    #     stream=True
-    # )
-    response = ollama.chat(
-        model="llama3",
-        messages=[
-            {
-                "role": "user",
-                "content": default_prompt + request.text,
-            },
-        ],
+    completion = client.chat.completions.create(
+        model="meta/llama-3.1-8b-instruct", 
+        messages=[{"role": "user", "content": default_prompt + request.text}],
+        temperature=0.2,
+        top_p=0.7,
+        max_tokens=1024,
+        stream=True
     )
+    # response = ollama.chat(
+    #     model="llama3",
+    #     messages=[
+    #         {
+    #             "role": "user",
+    #             "content": default_prompt + request.text,
+    #         },
+    #     ],
+    # )
     # Générer le texte en temps réel
     
-    generated_text = response["message"]["content"]
-    # for chunk in completion: 
-    #     if chunk.choices[0].delta.content is not None:
-    #         generated_text += chunk.choices[0].delta.content
+    generated_text = ""
+    for chunk in completion:
+        if chunk.choices[0].delta.content is not None:
+            generated_text += chunk.choices[0].delta.content
 
     return {"generated_text": generated_text}
 if __name__ == "__main__":