Delete original sentence for mlm

apps/mlm.py

@@ -6,17 +6,6 @@ from transformers import AutoTokenizer, RobertaForMaskedLM, pipeline
 with open("config.json", encoding="utf8") as f:
  cfg = json.loads(f.read())
 
-sample_texts = [
- {
- "original_text": "मोठी बातमी! उद्या दुपारी १ वाजता जाहीर होणार दहावीचा निकाल",
- "masked_text": "मोठी बातमी! उद्या दुपारी <mask> वाजता जाहीर होणार दहावीचा निकाल",
- },
- {
- "original_text": "अध्यक्ष शरद पवार आणि उपमुख्यमंत्री अजित पवार यांची भेट घेतली.",
- "masked_text": "अध्यक्ष <mask> पवार आणि उपमुख्यमंत्री अजित पवार यांची भेट घेतली.",
- },
-]
-
 
 @st.cache(allow_output_mutation=True, show_spinner=False)
 def load_model(input_text, model_name_or_path):
@@ -29,16 +18,13 @@ def load_model(input_text, model_name_or_path):
  return sentence, mask
 
 
-def get_original_text(masked_text, masked_texts, original_texts):
- index_ = masked_texts.index(masked_text)
- return original_texts[index_]
-
-
 def app():
  st.title("RoBERTa Marathi")
 
- masked_texts = [example["masked_text"] for example in sample_texts]
- original_texts = [example["original_text"] for example in sample_texts]
+ masked_texts = [
+ "मोठी बातमी! उद्या दुपारी <mask> वाजता जाहीर होणार दहावीचा निकाल",
+ "अध्यक्ष <mask> पवार आणि उपमुख्यमंत्री अजित पवार यांची भेट घेतली.",
+ ]
 
  input_text = st.sidebar.selectbox("Select a Text", options=masked_texts)
  masked_text = st.text_input("Please type a masked sentence to fill", input_text)
@@ -49,6 +35,5 @@ def app():
  with st.spinner("Filling the Mask..."):
  filled_sentence, mask = load_model(masked_text, cfg["models"]["RoBERTa"])
 
- st.markdown(f"**Original sentence: **{get_original_text(masked_text, masked_texts, original_texts)}")
  st.markdown(f"**Filled sentence: **{filled_sentence}")
  st.markdown(f"**Predicted masked token: **{mask}")