highlighting adjusted, still needs to restore paragraphs

app.py

@@ -3,32 +3,73 @@
 import gradio as gr
 from transformers import pipeline
 import tokenizer
-
+from difflib import Differ, SequenceMatcher
 
 title = "Textaleiðrétting fyrir íslensku"
-description = "Hér má leiðrétta ýmsar málfars- og stafsetningarvillur í íslenskum textum, með hjálp tauganets. Netið reynir að „þýða“ úr texta með villum yfir í villulausan, og er þjálfað ofan á byT5-líkanið frá Google með bæði gervivillugögnum og raunverulegum villum. \n\nBest er að setja stutta textabúta inn í einu. Þetta er prufuútgáfa sem hefur ekki lært að leiðrétta allar mögulegar villur, og er í stöðugri þróun."
+description = "Hér má leiðrétta íslenskan texta með hjálp tauganets. Netið reynir að „þýða“ yfir í texta sem er í samræmi við málstaðal, og er þjálfað á bæði gervigögnum og villumálheildum sem safnað var hjá Háskóla Íslands. \n\nBest er að setja ekki inn meira en nokkrar setningar í einu, því annars getur biðin orðið löng. Þetta er prufuútgáfa sem hefur ekki lært að leiðrétta öll þau atriði sem upp geta komið í texta og er í stöðugri þróun. \nÞetta verkefni er unnið hjá Miðeind sem hluti af máltækniáætlun stjórnvalda."
+
 translator = pipeline("translation", model="mideind/yfirlestur-icelandic-correction-byt5", max_length=512)
 
+def mark_text(text, tag):
+ """Helper for the diff method, returns a tuple with the text and the tag"""
+ return (text, tag)
+ 
+def mark_span(text, tag):
+ """Helper for the diff method, returns the span as a list of (text, tag) tuples"""
+ return [mark_text(token, tag) for token in text]
+ 
+def markup_diff(a, b,
+ mark=mark_span,
+ isjunk=None):
+ """Obtains the diff for the sentence along with the opcodes (tags). Returns the corrected sentence tokens along with their correction tag (in Icelandic)
+ """
+ seqmatcher = SequenceMatcher(isjunk=isjunk, a=a, b=b, autojunk=False)
+ out_sentence_tokens = []
+ # renaming tags 
+ tags = {"equal": None, "delete": "eytt út", "replace": "skipt út", "insert": "bætt inn"}
+ 
+ for tag, a0, a1, b0, b1 in seqmatcher.get_opcodes():
+ token = b[b0:b1]
+ if tag == "delete":
+ out_sentence_tokens += mark(" ", tags[tag])
+ print(token)
+ out_sentence_tokens += mark(b[b0:b1], tags[tag])
+ return out_sentence_tokens
+
 def split_text(text):
  sentence_list = [i for i in tokenizer.split_into_sentences(text, original=True)]
  return sentence_list
 
 def predict(text):
- text = text.replace("\n", " ")
+ texts = text.split("\n")
  translated = ""
- # check for way too long inputs
- for i in split_text(text):
- # doesn't keep original string formatting, instead adds a space btw sentences
- translated += translator(i.strip())[0]["translation_text"] + " "
- return translated
-
-iface = gr.Interface(
- fn=predict, 
+ original = ""
+ # TODO: check for way too long inputs 
+ # TODO: if a sentence after splitting is over 512 bytes = split? error?
+ for text in texts:
+ for i in split_text(text):
+ original += i
+ translated += translator(i)[0]["translation_text"]
+ original += "\n"
+ translated += "\n"
+ print(original)
+ print(translated)
+ return markup_diff(original.split(" "), translated.split(" "))
+
+
+demo = gr.Interface(
+ fn=predict,
  inputs='text',
- outputs='text',
+ outputs= gr.HighlightedText(
+ show_label=False,
+ show_legend=True,
+ combine_adjacent=True,
+ adjacent_separator=" ",
+ ).style(
+ color_map={"skipt út": "blue", "bætt inn": "green", "eytt út": "purple"}),
  title=title,
  description=description,
- examples=[["Kvitu fiðrildinn fljua firir utan gluggan."], ["Ég held þetta er ekki góður tími fara heimsókn."], ["Mer hlakar til jólana"], ["Kver a þenan bússtað ja eða nei"]]
+ examples=[["Kvitu fiðrildinn fljua firir utan gluggan."], ["Ég held þetta er ekki góður tími fara heimsókn."], ["Mer hlakar til jólana"], ["Kver a þenan bússtað ja eða nei"]],
 )
-iface.launch()
+demo.launch()