Bugfix.

app.py

@@ -1,13 +1,14 @@
-import json as js
-import os
-import re
-from typing import List
-
 import fasttext
 import gradio as gr
 import joblib
+import json as js
 import omikuji
+import os
+import re
+from collections import defaultdict
 from huggingface_hub import snapshot_download
+from typing import List, Tuple, Dict
+
 from install_packages import download_model
 
 download_model('https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin', 'lid.176.bin')
@@ -24,6 +25,9 @@ lang_model = fasttext.load_model('lid.176.bin')
 with open('./id2label.json', 'r') as f:
  id2label = js.load(f)
 
+with open('topics_hierarchy.json', 'r') as f:
+ topics_hierarchy = js.load(f)
+
 
 def map_language(language: str) -> str:
  language_mapping = {'de': 'German',
@@ -70,6 +74,56 @@ def predict_topic(text: str) -> [List[str], str]:
  return results, language
 
 
+def get_row_color(type: str):
+ if 'main' in type.lower():
+ return 'background-color: darkgrey;'
+ if 'sub' in type.lower():
+ return 'background-color: lightgrey;'
+
+
+def generate_html_table(topics: List[Tuple[str, str, float]]):
+ html = '<table style="width:100%; border: 1px solid black; border-collapse: collapse;">'
+
+ html += '<tr><th>Type</th><th>Topic</th><th>Score</th></tr>'
+ for type, topic, score in topics:
+ color = get_row_color(type)
+ topic = f"<strong>{topic}</strong>" if 'main' in type.lower() else topic
+ type = f"<strong>{type}</strong>" if 'main' in type.lower() else type
+ score = f"<strong>{score}</strong>" if 'main' in type.lower() else score
+ html += f'<tr style="{color}"><td>{type}</td><td>{topic}</td><td>{score}</td></tr>'
+ html += '</table>'
+ return html
+
+
+def restructure_topics(topics: List[Tuple[str, float]]) -> List[Tuple[str, str, float]]:
+ topics = [(str(x[0]).lower(), x[1]) for x in topics]
+ topics_as_dict = {}
+ for predicted_topic, score in topics:
+ if str(predicted_topic).lower() in topics_hierarchy.keys():
+ topics_as_dict[str(predicted_topic).lower()] = []
+
+ for predicted_topic, score in topics:
+ for main_topic, sub_topics in topics_hierarchy.items():
+ if main_topic in topics_as_dict.keys() and predicted_topic != main_topic and predicted_topic in sub_topics:
+ topics_as_dict[main_topic].append(predicted_topic)
+
+ topics_restructured = []
+ for predicted_main_topic, predicted_sub_topics in topics_as_dict.items():
+ if len(predicted_sub_topics) > 0:
+ score = [t for t in topics if t[0] == predicted_main_topic][0][1]
+ topics_restructured.append(
+ ('Main Topic', predicted_main_topic, score))
+ predicted_sub_topics_with_scores = []
+ for pst in predicted_sub_topics:
+ score = [t for t in topics if t[0] == pst][0][1]
+ entry = ('Sub Topic', pst, score)
+ if entry not in predicted_sub_topics_with_scores:
+ predicted_sub_topics_with_scores.append(entry)
+ for x in predicted_sub_topics_with_scores:
+ topics_restructured.append(x)
+ return topics_restructured
+
+
 def topic_modeling(text: str, threshold: float) -> [List[str], str]:
  # Prepare labels and scores for the plot
  sorted_topics, language = predict_topic(text)
@@ -77,6 +131,8 @@ def topic_modeling(text: str, threshold: float) -> [List[str], str]:
  sorted_topics = [t for t in sorted_topics if t[1] >= threshold]
  else:
  sorted_topics = []
+ sorted_topics = restructure_topics(sorted_topics)
+ sorted_topics = generate_html_table(sorted_topics)
  return sorted_topics, language
 
 
@@ -88,13 +144,15 @@ with gr.Blocks() as iface:
  with gr.Column():
  input_text = gr.Textbox(lines=10, placeholder="Enter a document")
  submit_button = gr.Button("Submit")
- threshold_slider = gr.Slider(minimum=0.0, maximum=1.0, step=0.01, label="Score Threshold", value=0.0)
+ threshold_slider = gr.Slider(minimum=0.0, maximum=1.0, step=0.01, label="Score Threshold",
+ value=0.0)
  language_text = gr.Textbox(lines=1, placeholder="Detected language will be shown here...",
  interactive=False, label="Detected Language")
  with gr.Column():
- output_data = gr.Dataframe(headers=["Label", "Score"])
+ output_data = gr.HTML()
 
- submit_button.click(topic_modeling, inputs=[input_text, threshold_slider], outputs=[output_data, language_text])
+ submit_button.click(topic_modeling, inputs=[input_text, threshold_slider],
+ outputs=[output_data, language_text])
 
  # Launch the app
 iface.launch(share=True)

topics_hierarchy.json

@@ -0,0 +1,273 @@
+{
+ "staatspolitik": [
+ "exekutive",
+ "politisches leben",
+ "öffentliche verwaltung",
+ "politische rechte",
+ "politisches system",
+ "demokratie",
+ "föderalismus",
+ "politische partei",
+ "bürgerrecht",
+ "verfassung",
+ "vorrechte und immunität",
+ "volksabstimmung",
+ "wahlen",
+ "staat",
+ "vergaberecht",
+ "auslandschweizer",
+ "service public"
+ ],
+ "geschichte": [
+ "geschichte schweiz",
+ "geschichte ausland"
+ ],
+ "parlament": [
+ "parlament schweiz",
+ "parlament ausland",
+ "ratsmitglied",
+ "parlamentsgeschichte",
+ "kantonales parlament"
+ ],
+ "internationale politik": [
+ "aussenpolitik : schweiz",
+ "aussenpolitik : ausland",
+ "diplomatie",
+ "internationale beziehungen",
+ "internationales abkommen",
+ "internationale politik",
+ "interventionspolitik",
+ "globalisierung",
+ "grenze",
+ "internationale organisation",
+ "internationale zusammenarbeit"
+ ],
+ "sicherheitspolitik": [
+ "armee",
+ "bewaffnung",
+ "innere sicherheit",
+ "zivilschutz und bevölkerungsschutz/zivildienst",
+ "terrorismus",
+ "sicherheitspolitik/friedenspolitik",
+ "krieg",
+ "internationaler konflikt"
+ ],
+ "europapolitik": [
+ "europapolitik",
+ "beziehung schweiz - eu",
+ "europarecht",
+ "europäische union",
+ "europarat",
+ "europäisches parlament"
+ ],
+ "recht allgemein": [
+ "verfahrensrecht",
+ "urheberrecht",
+ "rechtswissenschaft",
+ "verwaltungsrecht",
+ "beschwerderecht"
+ ],
+ "zivilrecht": [
+ "zivilrecht",
+ "zivilprozessordnung",
+ "familienrecht",
+ "kinderrechte",
+ "kindes- und erwachsenenschutzrecht",
+ "personenrecht",
+ "erbrecht",
+ "erberecht",
+ "sachenrecht",
+ "obligationenrecht",
+ "konkursrecht",
+ "vertrag"
+ ],
+ "strafrecht": [
+ "strafrecht",
+ "strafprozessordnung",
+ "straftat",
+ "korruption"
+ ],
+ "gerichtswesen": [
+ "gerichtswesen",
+ "schiedsgerichtsbarkeit"
+ ],
+ "rechte und freiheiten": [
+ "grundrechte",
+ "datenschutz",
+ "rassismus",
+ "diskriminierung"
+ ],
+ "internationales recht": [
+ "internationales humanitäres recht",
+ "internationale strafjustiz",
+ "internationales privatrecht",
+ "staatssouveränität",
+ "internationale rechtshilfe",
+ "internationales recht",
+ "menschenrechte"
+ ],
+ "wirtschaft": [
+ "wirtschaftspolitik",
+ "konsum",
+ "tourismus",
+ "wirtschaftsleben",
+ "unternehmen",
+ "wettbewerb",
+ "aussenwirtschaftspolitik",
+ "handel",
+ "privatversicherung",
+ "produktion",
+ "stiftung"
+ ],
+ "finanzwesen": [
+ "öffentliche finanzen und haushaltspolitik",
+ "öffentliche finanzen",
+ "finanzausgleich",
+ "zoll",
+ "finanzmarkt",
+ "finanzplatz"
+ ],
+ "finanzplatz": [
+ "finanzplatz",
+ "geldwäscherei",
+ "nationalbank",
+ "geld- und währungspolitik",
+ "finanzmarkt",
+ "kapital",
+ "finanzrecht"
+ ],
+ "steuer": [
+ "steuer",
+ "abgabe",
+ "steuerwettbewerb",
+ "steuerhinterziehung"
+ ],
+ "soziale fragen": [
+ "geschlechterfragen",
+ "sport",
+ "familienfragen",
+ "kinder- und jugendfragen",
+ "armut / ungleichheit",
+ "armut/ungleichheit",
+ "altersfragen",
+ "gesellschaftsfragen",
+ "gewalt",
+ "behinderung",
+ "spiel"
+ ],
+ "migration": [
+ "asylpolitik",
+ "flüchtling",
+ "ausländerpolitik",
+ "sans-papiers",
+ "migrationsbewegung"
+ ],
+ "kultur": [
+ "kultur",
+ "sprache",
+ "religionsfragen"
+ ],
+ "sozialer schutz": [
+ "sozialversicherung",
+ "invalidenversicherung",
+ "berufliche vorsorge",
+ "unfallversicherung",
+ "arbeitslosenversicherung",
+ "mutterschaftsversicherung",
+ "erwerbsersatzordnung",
+ "militärversicherung",
+ "ahv",
+ "familienzulage",
+ "sozialhilfe",
+ "sozialpolitik"
+ ],
+ "gesundheit": [
+ "gesundheit",
+ "krankenversicherung",
+ "patient/in",
+ "patient",
+ "pflege",
+ "spital",
+ "medizinalberuf",
+ "sucht",
+ "sterben und tod",
+ "gesundheitspolitik",
+ "heil- und hilfsmittel",
+ "ernährung",
+ "fortpflanzung"
+ ],
+ "raumplanung und wohnungswesen": [
+ "miet- und wohnungswesen",
+ "raumplanung",
+ "bauwesen/immobilien"
+ ],
+ "bildung": [
+ "schule",
+ "universität, hochschule, fachhochschule",
+ "universität/hochschule/fachhochschule",
+ "weiterbildung",
+ "berufsbildung",
+ "bildung"
+ ],
+ "medien und kommunikation": [
+ "presse",
+ "radio und fernsehen",
+ "internet und soziale medien",
+ "telefonie",
+ "medien",
+ "post",
+ "informatik",
+ "information",
+ "digitalisierung"
+ ],
+ "wissenschaft und forschung": [
+ "forschung",
+ "gentechnologie"
+ ],
+ "beschäftigung und arbeit": [
+ "arbeitsmarkt",
+ "gewerkschaft",
+ "arbeitslosigkeit",
+ "arbeit"
+ ],
+ "verkehr": [
+ "strassenverkehr",
+ "schienenverkehr",
+ "luftfahrt",
+ "schifffahrt",
+ "güterverkehr",
+ "öffentlicher verkehr",
+ "verkehrspolitik"
+ ],
+ "umwelt": [
+ "umweltpolitik",
+ "umweltschutz",
+ "artenvielfalt",
+ "katastrophe",
+ "klimafragen",
+ "abfall",
+ "wasser",
+ "luft",
+ "lärm",
+ "wald",
+ "berg",
+ "boden",
+ "tierschutz"
+ ],
+ "tierwelt": [
+ "tierschutz",
+ "tierversuch",
+ "jagd und fischerei"
+ ],
+ "landwirtschaft": [
+ "agrarpolitik",
+ "agrarproduktion"
+ ],
+ "energie": [
+ "erneuerbare energie",
+ "kernenergie",
+ "fossile energie",
+ "elektrizität",
+ "energiepolitik"
+ ]
+}