Update app.py

app.py

@@ -1,5 +1,5 @@
 import streamlit as st
-from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer
+from transformers import pipeline, AutoModelForTokenClassification, AutoTokenizer, AutoModelForSequenceClassification, AutoModelForCausalLM
 import pandas as pd
 import spacy
 from spacy import displacy
@@ -8,7 +8,7 @@ st.set_page_config(layout="wide")
 
 # Örnek metin listesi
 example_list = [
- "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.", 
+ "Mustafa Kemal Atatürk 1919 yılında Samsun'a çıktı.",
  """Mustafa Kemal Atatürk, Türk asker, devlet adamı ve Türkiye Cumhuriyeti'nin kurucusudur.
 Birinci Dünya Savaşı sırasında Osmanlı ordusunda görev yapan Atatürk, Çanakkale Cephesi'nde miralaylığa, Sina ve Filistin Cephesi'nde ise Yıldırım Orduları komutanlığına atandı. Savaşın sonunda, Osmanlı Imparatorluğu'nun yenilgisini takiben Kurtuluş Savaşı ile simgelenen Türk Ulusal Hareketi'ne öncülük ve önderlik etti. Türk Kurtuluş Savaşı sürecinde Ankara Hükümeti'ni kurdu, Türk Orduları Başkomutanı olarak Sakarya Meydan Muharebesi'ndeki başarısından dolayı 19 Eylül 1921 tarihinde "Gazi" unvanını aldı ve mareşallik rütbesine yükseldi. Askeri ve siyasi eylemleriyle İtilaf Devletleri ve destekçilerine karşı zafer kazandı. Savaşın ardından Cumhuriyet Halk Partisi'ni Halk Fırkası adıyla kurdu ve ilk genel başkanı oldu. 29 Ekim 1923'te Cumhuriyetin ilanı akabinde Cumhurbaşkanı seçildi. 1938'deki ölümüne dek dört dönem bu görevi yürüterek Türkiye'de en uzun süre cumhurbaşkanlığı yapmış kişi oldu."""
 ]
@@ -23,18 +23,14 @@ task = st.sidebar.selectbox("Görev Seç", task_list)
 # Model listesi ve model seçimi
 model_mapping = {
  'Metin Sınıflandırma': 'dbmdz/bert-base-turkish-cased',
- 'Metin Analizi': 'akdeniz27/convbert-base-turkish-cased-ner',
+ 'Metin Analizi': 'savasy/bert-base-turkish-ner-cased',
  'Duygu Analizi': 'akdeniz27/xlm-roberta-base-turkish-ner',
- 'Metin Oluşturma': 'xlm-roberta-large-finetuned-conll03-english'
+ 'Metin Oluşturma': 'dbmdz/bert-base-turkish-cased'
 }
 
 model_checkpoint = model_mapping.get(task, 'akdeniz27/xlm-roberta-base-turkish-ner')
 
-# Aggregation Strategy
-aggregation = "simple" if model_checkpoint in ["akdeniz27/xlm-roberta-base-turkish-ner", "xlm-roberta-large-finetuned-conll03-english", "asahi417/tner-xlm-roberta-base-ontonotes5"] else "first"
-
-st.sidebar.write("For details of models: 'https://huggingface.co/WhiteAngelss/")
-st.sidebar.write("")
+st.sidebar.write("Model detayları için: 'https://huggingface.co/models'")
 
 # Metin giriş yöntemi
 st.subheader("Metin Giriş Yöntemi Seç")
@@ -56,10 +52,19 @@ elif input_method == "Dosya Yükle":
  input_text = ""
 
 @st.cache_resource
-def setModel(model_checkpoint, aggregation):
- model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)
- tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
- return pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy=aggregation)
+def setModel(task, model_checkpoint):
+ if task in ['Metin Sınıflandırma', 'Duygu Analizi']:
+ model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
+ tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+ return pipeline('text-classification', model=model, tokenizer=tokenizer)
+ elif task == 'Metin Oluşturma':
+ model = AutoModelForCausalLM.from_pretrained(model_checkpoint)
+ tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+ return pipeline('text-generation', model=model, tokenizer=tokenizer)
+ else:
+ model = AutoModelForTokenClassification.from_pretrained(model_checkpoint)
+ tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+ return pipeline('ner', model=model, tokenizer=tokenizer, aggregation_strategy='simple')
 
 @st.cache_resource
 def get_html(html: str):
@@ -83,30 +88,49 @@ def entity_comb(output):
 Run_Button = st.button("Run", key=None)
 
 if Run_Button and input_text != "":
- ner_pipeline = setModel(model_checkpoint, aggregation)
- output = ner_pipeline(input_text)
- 
- output_comb = entity_comb(output)
- 
- df = pd.DataFrame.from_dict(output_comb)
- cols_to_keep = ['word', 'entity_group', 'score', 'start', 'end']
- df_final = df[cols_to_keep]
- 
- st.subheader("Recognized Entities")
- st.dataframe(df_final)
-
- st.subheader("Spacy Style Display")
- spacy_display = {}
- spacy_display["ents"] = []
- spacy_display["text"] = input_text
- spacy_display["title"] = None
-
- for entity in output_comb:
- label = entity["entity_group"]
- if label not in ["PERSON", "NORP", "FAC", "ORG", "GPE", "LOC", "PRODUCT", "EVENT", "WORK_OF_ART", "LAW", "LANGUAGE", "DATE", "TIME", "PERCENT", "MONEY", "QUANTITY", "ORDINAL", "CARDINAL", "MISC"]:
- label = "UNKNOWN"
- spacy_display["ents"].append({"start": entity["start"], "end": entity["end"], "label": label})
-
- html = displacy.render(spacy_display, style="ent", minify=True, manual=True, options={"ents": ["PERSON", "NORP", "FAC", "ORG", "GPE", "LOC", "PRODUCT", "EVENT", "WORK_OF_ART", "LAW", "LANGUAGE", "DATE", "TIME", "PERCENT", "MONEY", "QUANTITY", "ORDINAL", "CARDINAL", "MISC"]})
- style = "<style>mark.entity { display: inline-block }</style>"
- st.write(f"{style}{get_html(html)}", unsafe_allow_html=True)
+ pipeline_model = setModel(task, model_checkpoint)
+ if task == 'Metin Sınıflandırma':
+ output = pipeline_model(input_text)
+ st.subheader("Metin Sınıflandırma Sonucu")
+ for res in output:
+ st.markdown(f"**Etiket:** {res['label']}, **Skor:** {res['score']:.2f}")
+ elif task == 'Duygu Analizi':
+ output = pipeline_model(input_text)
+ st.subheader("Duygu Analizi Sonucu")
+ for res in output:
+ st.markdown(f"**Etiket:** {res['label']}, **Skor:** {res['score']:.2f}")
+ elif task == 'Metin Oluşturma':
+ output = pipeline_model(input_text, max_length=200, num_return_sequences=1)
+ st.subheader("Metin Oluşturma Sonucu")
+ generated_text = output[0]['generated_text']
+ st.write(generated_text)
+ # Doğruluk Kontrolü
+ if input_text.strip() in generated_text:
+ st.success("Model, verilen metni doğru bir şekilde işleyip oluşturdu.")
+ else:
+ st.warning("Model, verilen metni tam olarak işleyemedi.")
+ else: # Metin Analizi
+ output = pipeline_model(input_text)
+ output_comb = entity_comb(output)
+ df = pd.DataFrame.from_dict(output_comb)
+ cols_to_keep = ['word', 'entity_group', 'score', 'start', 'end']
+ df_final = df[cols_to_keep]
+
+ st.subheader("Tanınan Varlıklar")
+ st.dataframe(df_final)
+
+ st.subheader("Spacy Style Display")
+ spacy_display = {}
+ spacy_display["ents"] = []
+ spacy_display["text"] = input_text
+ spacy_display["title"] = None
+
+ for entity in output_comb:
+ label = entity["entity_group"]
+ if label not in ["PERSON", "NORP", "FAC", "ORG", "GPE", "LOC", "PRODUCT", "EVENT", "WORK_OF_ART", "LAW", "LANGUAGE", "DATE", "TIME", "PERCENT", "MONEY", "QUANTITY", "ORDINAL", "CARDINAL", "MISC"]:
+ label = "UNKNOWN"
+ spacy_display["ents"].append({"start": entity["start"], "end": entity["end"], "label": label})
+
+ html = displacy.render(spacy_display, style="ent", minify=True, manual=True, options={"ents": ["PERSON", "NORP", "FAC", "ORG", "GPE", "LOC", "PRODUCT", "EVENT", "WORK_OF_ART", "LAW", "LANGUAGE", "DATE", "TIME", "PERCENT", "MONEY", "QUANTITY", "ORDINAL", "CARDINAL", "MISC"]})
+ style = "<style>mark.entity { display: inline-block }</style>"
+ st.write(f"{style}{get_html(html)}", unsafe_allow_html=True)