update

app.py

@@ -234,7 +234,6 @@ async def generate_global_analysis(file: UploadFile = File(...)):
     # Check file size
     contents = await file.read()
     file_size = len(contents)
-    
     if file_size > 5_000_000:  # 5MB limit
         return {"error": "File size exceeds the 5MB limit. The file will be sampled."}
 
@@ -246,72 +245,89 @@ async def generate_global_analysis(file: UploadFile = File(...)):
 
     # Sample the data if it's too large
     if len(df) > 1000:  # Adjust this number based on your needs
-        df = df.sample(n=100, random_state=42)
+        df = df.sample(n=1000, random_state=42)
 
-    # Convert the DataFrame to a string
-    try:
-        text_to_generate = df.to_string(index=False)
-    except Exception as e:
-        return {"error": f"Error converting DataFrame to string: {str(e)}"}
+    # Ensure 'DATE' column exists and convert to datetime
+    if 'DATE' not in df.columns:
+        return {"error": "The CSV file must contain a 'DATE' column."}
+    df['DATE'] = pd.to_datetime(df['DATE'])
 
-    # Ensure the generated text is within size limits
-    if len(text_to_generate.encode('utf-8')) > 5_000_000:
-        return {"error": "Generated text exceeds size limit even after sampling. Please reduce the data further."}
+    # Add a 'MONTH' column
+    df['MONTH'] = df['DATE'].dt.to_period('M')
+
+    # Find the month with the most domains
+    month_domain_counts = df.groupby('MONTH')['DOMAINE'].nunique()
+    month_with_most_domains = month_domain_counts.idxmax()
+
+    # Find the dominant domain for that month
+    dominant_domain = df[df['MONTH'] == month_with_most_domains]['DOMAINE'].value_counts().idxmax()
+
+    # Group data by domain
+    domain_analyses = ""
+    for domain, group in df.groupby('DOMAINE'):
+        domain_summary = group.groupby('STATUT').size().to_dict()
+        domain_analysis = f"""
+        - Domaine "{domain}" :
+          - Total des plaintes : {len(group)}
+          - Répartition par statut :
+            - En cours : {domain_summary.get('EN COURS', 0)}
+            - Transférées : {domain_summary.get('TRANSFERE', 0)}
+            - Fermées : {domain_summary.get('FERME', 0)}
+            - Non pris en charge : {domain_summary.get('NON PRIS EN CHARGE', 0)}
+            - Autres statuts : {sum(v for k, v in domain_summary.items() if k not in ['EN COURS', 'TRANSFERE', 'FERME', 'NON PRIS EN CHARGE'])}
+        """
+        domain_analyses += domain_analysis
 
     # Define the global analysis prompt
     prompt_global = """
     Analyse globale des plaintes pour tous les domaines :
 
     **Résumé général :**
+    - Total des plaintes : {total_plaintes}
+    - Mois avec le plus de domaines concernés : {month_most_domains}
+    - Domaine dominant pour ce mois : {dominant_domain}
 
-    - Total des plaintes : [Nombre total de plaintes]
-    
     **Répartition des plaintes par domaine :**
-
     {domain_analyses}
 
-    **Problèmes récurrents observés dans tous les domaines :**
-
-    - lister 1 à 2 probléme les plus fréquents 
+    **Analyse temporelle :**
+    - Évolution mensuelle du nombre de plaintes : [À compléter]
+    - Pic de plaintes : [À compléter]
+    - Creux de plaintes : [À compléter]
 
+    **Problèmes récurrents observés dans tous les domaines :**
+    - lister 1 à 2 problèmes les plus fréquents
 
     **Actions entreprises :**
-
     - Action 1 : Description de l'action
 
     **Recommandations pour améliorer la gestion des plaintes :**
-
     1. **[Recommandation 1]** : Détails
 
+    **Analyse du domaine dominant :**
+    - Raisons possibles de la prédominance : [À compléter]
+    - Comparaison avec les autres mois : [À compléter]
 
-    En résumé, voici les principales tendances et recommandations pour améliorer la gestion des plaintes et résoudre les problèmes identifiés à travers tous les domaines.
+    En résumé, voici les principales tendances, le mois critique ({month_most_domains}), le domaine dominant pour ce mois ({dominant_domain}), et les recommandations pour améliorer la gestion des plaintes et résoudre les problèmes identifiés à travers tous les domaines.
 
     ---
-    
-    Utilisez ces informations pour améliorer la qualité du service et optimiser la gestion des plaintes.
+
+    Utilisez ces informations pour améliorer la qualité du service, optimiser la gestion des plaintes, et porter une attention particulière au domaine dominant identifié pour le mois critique.
     """
 
-    # Group data by domain
-    domain_analyses = ""
-    for domain, group in df.groupby('DOMAINE'):
-        domain_summary = group.groupby('STATUT').size().to_dict()
-        domain_analysis = f"""
-        - Domaine "{domain}" :
-            - Total des plaintes : {len(group)}
-            - Répartition par statut :
-                - En cours : {domain_summary.get('EN COURS', 0)}
-                - Transférées : {domain_summary.get('TRANSFERE', 0)}
-                - Fermées : {domain_summary.get('FERME', 0)}
-                - Non pris en charge : {domain_summary.get('NON PRIS EN CHARGE', 0)}
-                - Autres statuts : {sum(v for k, v in domain_summary.items() if k not in ['EN COURS', 'TRANSFERE', 'FERME', 'NON PRIS EN CHARGE'])}
-        """
-        domain_analyses += domain_analysis
+    # Format the prompt with the analyzed data
+    formatted_prompt = prompt_global.format(
+        total_plaintes=len(df),
+        month_most_domains=month_with_most_domains,
+        dominant_domain=dominant_domain,
+        domain_analyses=domain_analyses
+    )
 
-    # Create the request for the API 
+    # Create the request for the API
     try:
         completion = client.chat.completions.create(
-            model="meta/llama-3.1-8b-instruct", 
-            messages=[{"role": "user", "content": prompt_global.format(domain_analyses=domain_analyses) + text_to_generate}],
+            model="meta/llama-3.1-8b-instruct",
+            messages=[{"role": "user", "content": formatted_prompt}],
             temperature=0.2,
             top_p=0.9,
             stream=True