Update README.md

README.md

@@ -9,29 +9,47 @@ This is the repository accompanying our paper [AraT5: Text-to-Text Transformers
 ---
 # How to use AraT5 models
 Below is an example for fine-tuning **AraT5-base** for News Title Generation on the Aranews dataset 
-``` bash
-!python run_trainier_seq2seq_huggingface.py \
- --learning_rate 5e-5 \
- --max_target_length 128 --max_source_length 128 \
- --per_device_train_batch_size 8 --per_device_eval_batch_size 8 \
- --model_name_or_path "UBC-NLP/AraT5-base" \
- --output_dir "/content/AraT5_FT_title_generation" --overwrite_output_dir \
- --num_train_epochs 3 \
- --train_file "/content/ARGEn_title_genration_sample_train.tsv" \
- --validation_file "/content/ARGEn_title_genration_sample_valid.tsv" \
- --task "title_generation" --text_column "document" --summary_column "title" \
- --load_best_model_at_end --metric_for_best_model "eval_bleu" --greater_is_better True --evaluation_strategy epoch --logging_strategy epoch --predict_with_generate\
- --do_train --do_eval
+```python
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+tokenizer = AutoTokenizer.from_pretrained("UBC-NLP/AraT5-base-title-generation") 
+model = AutoModelForSeq2SeqLM.from_pretrained("UBC-NLP/AraT5-base-title-generation")
+
+Document = "تحت رعاية صاحب السمو الملكي الأمير سعود بن نايف بن عبدالعزيز أمير المنطقة الشرقية اختتمت غرفة الشرقية مؤخرا، الثاني من مبادرتها لتأهيل وتدريب أبناء وبنات المملكة ضمن مبادرتها المجانية للعام 2019 حيث قدمت 6 برامج تدريبية نوعية. وثمن رئيس مجلس إدارة الغرفة، عبدالحكيم العمار الخالدي، رعاية سمو أمير المنطقة الشرقية للمبادرة، مؤكدا أن دعم سموه لجميع أنشطة ."
+
+encoding = tokenizer.encode_plus(Document,pad_to_max_length=True, return_tensors="pt")
+input_ids, attention_masks = encoding["input_ids"], encoding["attention_mask"]
+
+
+outputs = model.generate(
+ input_ids=input_ids, attention_mask=attention_masks,
+ max_length=256,
+ do_sample=True,
+ top_k=120,
+ top_p=0.95,
+ early_stopping=True,
+ num_return_sequences=5
+)
+
+for id, output in enumerate(outputs):
+ title = tokenizer.decode(output, skip_special_tokens=True,clean_up_tokenization_spaces=True)
+ print("title#"+str(id), title)
 ```
-For more details about the fine-tuning example, please read this notebook [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://github.com/UBC-NLP/araT5/blob/main/examples/Fine_tuning_AraT5.ipynb) 
-
-In addition, we release the fine-tuned checkpoint of the News Title Generation (NGT) which is described in the paper. The model available at Huggingface ([UBC-NLP/AraT5-base-title-generation](https://huggingface.co/UBC-NLP/AraT5-base-title-generation)).
-
-For more details, please visit our own [GitHub](https://github.com/UBC-NLP/araT5).
-
-
+**The input news document**
 
+<div style="white-space : pre-wrap !important;word-break: break-word; direction:rtl; text-align: right">
+تحت رعاية صاحب السمو الملكي الأمير سعود بن نايف بن عبدالعزيز أمير المنطقة الشرقية اختتمت غرفة الشرقية مؤخرا، الثاني من مبادرتها لتأهيل وتدريب أبناء وبنات المملكة ضمن مبادرتها المجانية للعام 2019 حيث قدمت 6 برامج تدريبية نوعية. وثمن رئيس مجلس إدارة الغرفة، عبدالحكيم العمار الخالدي، رعاية سمو أمير المنطقة الشرقية للمبادرة، مؤكدا أن دعم سموه لجميع أنشطة .
+ <br>
+</div>
+ 
 
+**The generated titles**
+```
+title#0 غرفة الشرقية تختتم المرحلة الثانية من مبادرتها لتأهيل وتدريب أبناء وبنات المملكة
+title#1 غرفة الشرقية تختتم الثاني من مبادرة تأهيل وتأهيل أبناء وبناتنا
+title#2 سعود بن نايف يختتم ثانى مبادراتها لتأهيل وتدريب أبناء وبنات المملكة
+title#3 أمير الشرقية يرعى اختتام برنامج برنامج تدريب أبناء وبنات المملكة
+title#4 سعود بن نايف يرعى اختتام مبادرة تأهيل وتدريب أبناء وبنات المملكة
+```
 
 # AraT5 Models Checkpoints