Create app.py

app.py

@@ -0,0 +1,169 @@
+import gradio as gr
+import itertools
+from typing import Dict, Union
+
+from nltk import sent_tokenize
+import nltk
+nltk.download('punkt')
+import torch
+from transformers import(
+    AutoModelForSeq2SeqLM, 
+    AutoTokenizer
+)
+
+class QGPipeline:
+
+    def __init__(
+        self
+    ):
+      
+        self.model = AutoModelForSeq2SeqLM.from_pretrained("muchad/idt5-qa-qg")
+        self.tokenizer = AutoTokenizer.from_pretrained("muchad/idt5-qa-qg")
+        self.qg_format = "highlight"
+        self.device = "cuda" if torch.cuda.is_available() else "cpu"
+        self.model.to(self.device)
+        self.ans_model = self.model
+        self.ans_tokenizer = self.tokenizer
+        assert self.model.__class__.__name__ in ["T5ForConditionalGeneration"]
+        self.model_type = "t5"
+
+
+    def __call__(self, inputs: str):
+        inputs = " ".join(inputs.split())
+        sents, answers = self._extract_answers(inputs)
+        flat_answers = list(itertools.chain(*answers))
+  
+        if len(flat_answers) == 0:
+          return []
+
+        qg_examples = self._prepare_inputs_for_qg_from_answers_hl(sents, answers)        
+        qg_inputs = [example['source_text'] for example in qg_examples]
+        questions = self._generate_questions(qg_inputs)
+        output = ''
+        for example, que in zip(qg_examples, questions):
+          output += 'A : ' + example['answer'] + '  \n' + 'Q : ' + que + '  \n\n' 
+        return output
+    
+    def _generate_questions(self, inputs):
+        inputs = self._tokenize(inputs, padding=True, truncation=True)
+        
+        outs = self.model.generate(
+            input_ids=inputs['input_ids'].to(self.device), 
+            attention_mask=inputs['attention_mask'].to(self.device), 
+            max_length=80,
+            num_beams=4,
+        )
+        
+        questions = [self.tokenizer.decode(ids, skip_special_tokens=True) for ids in outs]
+        return questions
+    
+    def _extract_answers(self, context):
+        sents, inputs = self._prepare_inputs_for_ans_extraction(context)
+        
+        inputs = self._tokenize(inputs, padding=True, truncation=True)
+
+        outs = self.ans_model.generate(
+            input_ids=inputs['input_ids'].to(self.device), 
+            attention_mask=inputs['attention_mask'].to(self.device), 
+            max_length=80,
+        )
+        
+        dec = [self.ans_tokenizer.decode(ids, skip_special_tokens=True) for ids in outs] 
+        answers = [item.split('<sep>') for item in dec]
+        answers = [i[:-1] for i in answers]
+        return sents, answers
+    
+    def _tokenize(self,
+        inputs,
+        padding=True,
+        truncation=True,
+        add_special_tokens=True, 
+        max_length=512
+    ):
+        inputs = self.tokenizer.batch_encode_plus(
+            inputs, 
+            max_length=max_length,
+            add_special_tokens=add_special_tokens,
+            truncation=truncation,
+            padding="max_length" if padding else False,
+            pad_to_max_length=padding,
+            return_tensors="pt"
+        )
+        return inputs
+    
+    def _prepare_inputs_for_ans_extraction(self, text):
+        sents = sent_tokenize(text)
+
+        inputs = []
+        for i in range(len(sents)):
+            source_text = "extract answers:"
+            for j, sent in enumerate(sents):
+                if i == j:
+                    sent = "<hl> %s <hl>" % sent
+                source_text = "%s %s" % (source_text, sent)
+                source_text = source_text.strip()
+            
+            source_text = source_text + " </s>"
+            inputs.append(source_text)
+        return sents, inputs
+    
+    def _prepare_inputs_for_qg_from_answers_hl(self, sents, answers):
+        inputs = []
+        for i, answer in enumerate(answers):
+            if len(answer) == 0: continue
+            for answer_text in answer:
+                sent = sents[i]
+                sents_copy = sents[:]
+                
+                answer_text = answer_text.strip()
+                try:
+                  ans_start_idx = sent.index(answer_text)
+                  
+                  sent = f"{sent[:ans_start_idx]} <hl> {answer_text} <hl> {sent[ans_start_idx + len(answer_text): ]}"
+                  sents_copy[i] = sent
+                  
+                  source_text = " ".join(sents_copy)
+                  source_text = f"generate question: {source_text}" 
+                  if self.model_type == "t5":
+                      source_text = source_text + " </s>"
+                except:
+                  continue
+                
+                inputs.append({"answer": answer_text, "source_text": source_text})
+        
+        return inputs
+    
+class TaskPipeline(QGPipeline):
+    def __init__(self, **kwargs):
+        super().__init__(**kwargs)
+    
+    def __call__(self, inputs: Union[Dict, str]):
+        return super().__call__(inputs)
+       
+def pipeline():    
+    task = TaskPipeline    
+    return task()
+
+qg = pipeline()
+def aqg(input):
+    return qg(input)
+
+sample = [
+      ['Kapitan Pattimura adalah pahlawan dari Maluku. Beliau lahir pada tanggal 8 Juni 1783 dan meninggal pada tanggal 16 Desember 1817.'],
+      ['Dua orang pengembara berjalan di sepanjang jalan yang berdebu dan tandus di hari yang sangat panas. Tidak lama kemudian, mereka menemukan sebuah pohon besar.'], 
+      ['Raja Purnawarman mulai memerintah Kerajaan Tarumanegara pada tahun 395 M. Pada masa pemerintahannya, ia selalu berjuang untuk rakyatnya. Ia membangun saluran air dan memberantas perompak.\r\r\nRaja Purnawarman sangat memperhatikan kesejahteraan rakyatnya. la memperbaiki aliran Sungai Gangga di daerah Cirebon. Dua tahun kemudian, ia juga memperbaiki dan memperindah alur Sungai Cupu sehingga air bisa mengalir ke seluruh kerajaan. Para petani senang karena ladang mereka mendapat air dari aliran sungai sehingga menjadi subur. Ladang para petani tidak kekeringan pada musim kemarau.'],
+      ['Pada masa tersebut, buku peraga Ini Budi laris manis tidak hanya di Jakarta, Bengkulu, Palembang, dan kota lain melainkan hampir di seluruh kota di Indonesia. Namun Siti Rahmani Rauf mengakui bahwa buku paket Ini Budi sebenarnya telah ada namun buku peraganya yang tidak ada, oleh karena itu di buatlah buku peraga Ini Budi, yang tidak lain adalah pembelajaran yang pernah kita jumpai ketika belajar di bangku kelas 1 SD. Karena buku peraga itulah yang membuat kalimat Ini Budi menjadi sangat populer hingga saat ini untuk di pelajari oleh siswa kelas 1 SD.'],
+      ['Rabiul Awal atau bulan ketiga dalam kalender Hijriyah adalah bulan yang dimuliakan umat Islam. Sebab, di bulan ini Nabi Muhammad SAW lahir ke dunia sebagai manusia yang diutus oleh Allah SWT untuk menyampaikan ajaran-Nya.\r\r\nJauh sebelum kelahiran Rasulullah, Allah sudah mengabarkan akan kehadiran Nabi akhir zaman. Kedatangan Rasulullah telah disebut-sebut dalam kitab sebelum Alquran, yakni dalam kitab Taurat dan Injil. Sehingga, para rabi Yahudi dan pendeta Nasrani telah mengenal Rasulullah dari gambaran tentang sifat-sifatnya.\r\r\nDikutip dari Republika Online.'],
+      ['Pemerintah berencana menaikkan tiket Candi Borobudur menjadi Rp 750.000/orang. Kenaikan harga tiket ini bertujuan untuk membatasi jumlah pengunjung sehingga kondisi candi sebagai cagar budaya tetap ini tetap lestari. Namun, harga tiket yang mencapai Rp 750.000 per orang itu bukanlah tiket masuk, melainkan tiket naik ke atas Candi Borobudur. Direktur Utama PT Aviasi Pariwisata Indonesia (Persero)/InJourney, Dony Oskaria menyebut tiket masuk Candi Borobudur tak berubah.']
+      ]
+app = gr.Interface(
+        fn=aqg,
+        inputs=gr.Textbox(lines=7, placeholder="Enter text here", label="Context"),
+        outputs=gr.Textbox(label="Generated Question & Answer"),
+        title=f"Indonesian 🇲🇨 Question Generation",
+        description = '[Indonesian T5](https://huggingface.co/muchad/idt5-base) model fine-tuned for Question Generation.  \nGet the [QG Model](https://huggingface.co/muchad/idt5-qa-qg) 🚀.',
+        examples=sample if sample else None,
+        cache_examples = True,
+        allow_flagging="never"
+    )
+app.launch()