update

app.py

@@ -232,6 +232,106 @@ async def generate_text(
             generated_text += chunk.choices[0].delta.content
 
     return {"summary_text_2": generated_text}
+@app.post("/analyse_globale/")
+async def generate_global_analysis(file: UploadFile = File(...)):
+    # Check file size
+    contents = await file.read()
+    file_size = len(contents)
+    
+    if file_size > 5_000_000:  # 5MB limit
+        return {"error": "File size exceeds the 5MB limit. The file will be sampled."}
+
+    # Read the uploaded CSV file
+    try:
+        df = pd.read_csv(io.StringIO(contents.decode('utf-8')))
+    except Exception as e:
+        return {"error": f"Error reading CSV file: {str(e)}"}
+
+    # Sample the data if it's too large
+    if len(df) > 1000:  # Adjust this number based on your needs
+        df = df.sample(n=100, random_state=42)
+
+    # Convert the DataFrame to a string
+    try:
+        text_to_generate = df.to_string(index=False)
+    except Exception as e:
+        return {"error": f"Error converting DataFrame to string: {str(e)}"}
+
+    # Ensure the generated text is within size limits
+    if len(text_to_generate.encode('utf-8')) > 5_000_000:
+        return {"error": "Generated text exceeds size limit even after sampling. Please reduce the data further."}
+
+    # Define the global analysis prompt
+    prompt_global = """
+    Analyse globale des plaintes pour tous les domaines :
+
+    **Résumé général :**
+
+    - Total des plaintes : [Nombre total de plaintes]
+    
+    **Répartition des plaintes par domaine :**
+
+    {domain_analyses}
+
+    **Problèmes récurrents observés dans tous les domaines :**
+
+    - Problème 1 : Description et fréquence
+    - Problème 2 : Description et fréquence
+    - Problème 3 : Description et fréquence
+
+    **Actions entreprises :**
+
+    - Action 1 : Description de l'action
+    - Action 2 : Description de l'action
+    - Action 3 : Description de l'action
+
+    **Recommandations pour améliorer la gestion des plaintes :**
+
+    1. **[Recommandation 1]** : Détails
+    2. **[Recommandation 2]** : Détails
+    3. **[Recommandation 3]** : Détails
+
+    En résumé, voici les principales tendances et recommandations pour améliorer la gestion des plaintes et résoudre les problèmes identifiés à travers tous les domaines.
+
+    ---
+    
+    Utilisez ces informations pour améliorer la qualité du service et optimiser la gestion des plaintes.
+    """
+
+    # Group data by domain
+    domain_analyses = ""
+    for domain, group in df.groupby('DOMAINE'):
+        domain_summary = group.groupby('STATUT').size().to_dict()
+        domain_analysis = f"""
+        - Domaine "{domain}" :
+            - Total des plaintes : {len(group)}
+            - Répartition par statut :
+                - En cours : {domain_summary.get('EN COURS', 0)}
+                - Transférées : {domain_summary.get('TRANSFERE', 0)}
+                - Fermées : {domain_summary.get('FERME', 0)}
+                - Non pris en charge : {domain_summary.get('NON PRIS EN CHARGE', 0)}
+                - Autres statuts : {sum(v for k, v in domain_summary.items() if k not in ['EN COURS', 'TRANSFERE', 'FERME', 'NON PRIS EN CHARGE'])}
+        """
+        domain_analyses += domain_analysis
+
+    # Create the request for the API
+    try:
+        completion = client.chat.completions.create(
+            model="meta/llama-3.1-8b-instruct", 
+            messages=[{"role": "user", "content": prompt_global.format(domain_analyses=domain_analyses) + text_to_generate}],
+            temperature=0.2,
+            top_p=0.9,
+            stream=True
+        )
+    except Exception as e:
+        return {"error": f"Error generating text: {str(e)}"}
+
+    generated_text = ""
+    for chunk in completion:
+        if chunk.choices[0].delta.content is not None:
+            generated_text += chunk.choices[0].delta.content
+
+    return {"global_analysis_text": generated_text}
 if __name__ == "__main__":
     uvicorn.run("app:app",reload=True)