Update app.py

app.py

@@ -1,40 +1,167 @@
 import requests
-import os
+import json
 
-# Assurez-vous d'avoir défini votre token API dans les variables d'environnement
 api_token = os.environ.get("TOKEN")
+API_URL = "https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-8B-Instruct"
+headers = {"Authorization": f"Bearer {api_token}"}
 
-# URL de l'API pour récupérer les posts de la communauté
-api_url = "https://huggingface.co/api/community-posts"
-
-# En-têtes pour l'authentification
-headers = {
-    "Authorization": f"Bearer {api_token}"
-}
-
-# Paramètres pour la requête (optionnels)
-params = {
-    "limit": 5,  # Nombre de posts à récupérer
-    "offset": 0  # À partir de quel post commencer
-}
-
-def get_community_posts():
-    try:
-        response = requests.get(api_url, headers=headers, params=params)
-        response.raise_for_status()  # Lève une exception pour les codes d'erreur HTTP
-        return response.json()
-    except requests.RequestException as e:
-        print(f"Erreur lors de la récupération des posts : {e}")
-        return None
-
-# Récupérer et afficher les posts
-posts = get_community_posts()
-
-if posts:
-    for post in posts:
-        print(f"Titre: {post.get('title', 'Pas de titre')}")
-        print(f"Auteur: {post.get('author', {}).get('fullname', 'Anonyme')}")
-        print(f"Contenu: {post.get('content', 'Pas de contenu')[:100]}...")  # Affiche les 100 premiers caractères
-        print("-" * 50)
-else:
-    print("Aucun post n'a pu être récupéré.")
+def query(payload):
+    response = requests.post(API_URL, headers=headers, json=payload)
+    return response.json()
+
+def analyze_sentiment(text):
+    output = query({
+        "inputs": f'''
+system
+You're going to deeply analyze the texts I'm going to give you and you're only going to tell me which category they belong to by answering only the words that correspond to the following categories:
+For posts that talk about chat models/LLM, return "Chatmodel/LLM"
+For posts that talk about image generation models, return "image_generation"
+For texts that ask for information from the community, return "questions"
+For posts about fine-tuning or model adjustment, return "fine_tuning"
+For posts related to ethics and bias in AI, return "ethics_bias"
+For posts about datasets and data preparation, return "datasets"
+For posts about tools and libraries, return "tools_libraries"
+For posts containing tutorials and guides, return "tutorials_guides"
+For posts about debugging and problem-solving, return "debugging"
+Respond only with the category name, without any additional explanation or text.
+
+user
+{text}
+
+assistant
+'''
+    })
+
+    if isinstance(output, list) and len(output) > 0:
+        response = output[0].get('generated_text', '').strip().lower()
+
+        questions = response.count('questions')
+        ChatmodelLLM = response.count('Chatmodel/LLM')
+        other = response.count('other')
+        image_generation = response.count("image_generation")
+        fine_tuning = response.count("fine_tuning")
+        ethics_bias = response.count("ethics_bias")
+        datasets = response.count("datasets")
+        tools_libraries = response.count("tools_libraries")
+        tutorials_guides = response.count("tutorials_guides")
+        debugging = response.count("debugging")
+
+        if questions == 2:
+            return 'questions'
+        elif ChatmodelLLM == 2:
+            return 'Chat Model/LLM'
+        elif other == 2:
+            return "Other"
+        elif image_generation == 2:
+            return "Image Generation"
+        elif fine_tuning == 2:
+            return "Fine-tuning"
+        elif ethics_bias == 2:
+            return "Ethics and Bias"
+        elif datasets == 2:
+            return "Datasets"
+        elif tools_libraries == 2:
+            return "Tools and Libraries"
+        elif tutorials_guides == 2:
+            return "Tutorials and Guides"
+        elif debugging == 2:
+            return "Debugging"
+        else:
+            return f"Erreur: Réponse ambiguë - '{response}'"
+
+# URL de base de l'API
+base_url = "https://huggingface.co/api/posts"
+
+# Paramètres pour la pagination
+skip = 0  # Nombre d'éléments à sauter
+limit = 1000  # Nombre maximal d'éléments à récupérer par requête
+
+# Liste pour stocker tous les posts avec leur texte
+all_posts_with_text = []
+
+while True:
+    # Construire l'URL avec les paramètres de pagination
+    url = f"{base_url}?skip={skip}&limit={limit}&sort=recent"
+
+    # Effectuer une requête HTTP pour récupérer les données
+    response = requests.get(url)
+
+    # Vérifier si la requête a réussi
+    if response.status_code == 200:
+        # Charger les données JSON à partir du contenu de la réponse
+        data = response.json()
+
+        # Vérifier s'il y a des posts à ajouter
+        if not data["socialPosts"]:
+            break  # Sortir de la boucle si aucun post n'est retourné
+
+        # Ajouter les posts récupérés à la liste avec leur texte
+        for post in data["socialPosts"]:
+            post_text = ""
+            for item in post["content"]:
+                if item["type"] == "text":
+                    post_text += item["value"] + " "
+            all_posts_with_text.append({"slug": post["slug"], "text": post_text.strip()})
+
+        # Mettre à jour le paramètre skip pour la prochaine requête
+        skip += limit
+
+    else:
+        print(f"Erreur lors de la récupération des données: {response.status_code}")
+        break
+
+# Maintenant, all_posts_with_text contient tous les posts récupérés avec leur texte
+
+# Initialisation des compteurs
+questions_count = 0
+Chat_ModelLLM_count = 0
+Other_count = 0
+ImageGeneration_count = 0
+Fine_tuning_count = 0
+EthicsandBias_count = 0
+Datasets_count = 0
+ToolsandLibraries_count = 0
+Tutorials_and_Guides_count = 0
+Debugging_count = 0
+
+# Appliquer votre algorithme d'analyse à tous les posts
+for i, post in enumerate(all_posts_with_text, 1):
+    slug = post["slug"]
+    text = post["text"]
+
+    # Appeler votre algorithme d'analyse
+    resultat = analyze_sentiment(text)
+
+    # Incrémenter les compteurs en fonction du résultat
+    if resultat == 'questions':
+        questions_count += 1
+    elif resultat == "Chat Model/LLM":
+        Chat_ModelLLM_count += 1
+    elif resultat == 'Other':
+        Other_count += 1
+    elif resultat == "Image Generation":
+        ImageGeneration_count += 1
+    elif resultat == "Fine-tuning":
+        Fine_tuning_count += 1
+    elif resultat == "Ethics and Bias":
+        EthicsandBias_count += 1
+    elif resultat == 'Datasets':
+        Datasets_count += 1
+    elif resultat == 'Tools and Libraries':
+        ToolsandLibraries_count += 1
+    elif resultat == "Tutorials and Guides":
+        Tutorials_and_Guides_count += 1
+    elif resultat == "Debugging":
+        Debugging_count += 1
+
+# Affichage des résultats
+print(f"Questions: {questions_count}")
+print(f"Chat Model/LLM: {Chat_ModelLLM_count}")
+print(f"Other: {Other_count}")
+print(f"Image Generation: {ImageGeneration_count}")
+print(f"Fine-tuning: {Fine_tuning_count}")
+print(f"Ethics and Bias: {EthicsandBias_count}")
+print(f"Datasets: {Datasets_count}")
+print(f"Tools and Libraries: {ToolsandLibraries_count}")
+print(f"Tutorials and Guides: {Tutorials_and_Guides_count}")
+print(f"Debugging: {Debugging_count}")