Create app.py

app.py

@@ -0,0 +1,106 @@
+import requests
+import json
+import pandas as pd
+from tqdm.auto import tqdm
+
+import streamlit as st
+from huggingface_hub import HfApi, hf_hub_download
+from huggingface_hub.repocard import metadata_load
+import streamlit.components.v1 as components
+
+
+def make_clickable_model(model_name):
+    link = "https://huggingface.co/" + model_name
+    return f'<a target="_blank" href="{link}">{model_name}</a>'
+
+# Make user clickable link
+def make_clickable_user(user_id):
+    link = "https://huggingface.co/" + user_id
+    return f'<a target="_blank" href="{link}">{user_id}</a>'
+    
+def get_model_ids():
+    api = HfApi()
+    models = api.list_models(filter="deprem-clf-v13")
+    model_ids = [x.modelId for x in models]
+    return model_ids
+    
+def get_metadata(model_id):
+    try:
+        readme_path = hf_hub_download(model_id, filename="README.md")
+        return metadata_load(readme_path)
+    except requests.exceptions.HTTPError:
+        # 404 README.md not found
+        return None
+        
+def parse_metrics_accuracy(meta):
+    if "model-index" not in meta:
+        return None
+    result = meta["model-index"][0]["results"]
+    metrics = result[0]["metrics"]
+    accuracy = metrics[2]["value"]
+    print("Accuracy", accuracy)
+    return accuracy
+
+def parse_metrics_recall(meta):
+    if "model-index" not in meta:
+        return None
+    result = meta["model-index"][0]["results"]
+    metrics = result[0]["metrics"]
+    recall = metrics[0]["value"]
+    print("Recall", recall)
+    return recall
+
+def parse_metrics_f1(meta):
+    if "model-index" not in meta:
+        return None
+    result = meta["model-index"][0]["results"]
+    metrics = result[0]["metrics"]
+    f1 = metrics[1]["value"]
+    print("F1-score", f1)
+    return f1
+
+#@st.cache(ttl=600)
+def get_data():
+    data = []
+    model_ids = get_model_ids()
+    for model_id in tqdm(model_ids):
+        meta = get_metadata(model_id)
+        if meta is None:
+            continue
+        user_id = model_id.split('/')[0]
+        row = {}
+        row["User"] = user_id
+        row["Model"] = model_id
+        recall = parse_metrics_recall(meta)
+        row["Recall"] = recall
+        f1 = parse_metrics_f1(meta)
+        row["F1-Score"] = f1
+        data.append(row)
+    return pd.DataFrame.from_records(data)
+    
+dataframe = get_data()
+dataframe = dataframe.fillna("")
+
+st.markdown("# Deprem Niyet Analizi için Lider Tablosu")
+
+st.markdown("Bu lider tablosu modellerimizi versiyonladıktan sonra hangi modeli üretime çıkarmamız gerektiğinin takibini yapmak için kullanılır.")
+st.markdown(
+    "Model card'da metadata'da tags kısmına deprem-clf-v1 yazarsanız modeliniz buraya otomatik eklenir."
+)
+st.markdown(
+    "Burada recall, f1-score ve accuracy'nin macro average'ına bakıyoruz. Model card'ın metadata kısmında bu üç veriyi log'lamanız yeterli. Burada classification report çıkarırken **probability'lerin** confidence threshold'u baz alınır."
+)
+st.markdown("Örnek metadata için [bu model card'ın metadata kısmını](https://huggingface.co/deprem-ml/deprem-roberta-intent/blob/main/README.md) kopyalayıp yapıştırarak kendi metriklerinize göre ayarlayabilirsiniz.")
+st.markdown(
+    "Modelin üstüne tıklayıp model card'a gidebilirsiniz."
+)
+
+
+
+# turn the model ids into clickable links
+dataframe["User"] = dataframe["User"].apply(make_clickable_user)
+dataframe["Model"] = dataframe["Model"].apply(make_clickable_model)
+dataframe = dataframe.sort_values(by=['F1-Score'], ascending=False)
+table_html = dataframe.to_html(escape=False, index=False)
+table_html = table_html.replace("<th>", '<th align="left">')  # left-align the headers
+st.write(table_html, unsafe_allow_html=True)