init model

README.md

@@ -1,3 +1,143 @@
 ---
 license: cc-by-nc-sa-4.0
+tags:
+  - generated_from_trainer
+  - simplification
+task_categories:
+  - text2text-generation
+task_ids:
+  - text-simplification
+language:
+  - nl
+datasets:
+  - BramVanroy/chatgpt-dutch-simplification
+metrics:
+  - rouge
+  - sari
+model-index:
+- name: BramVanroy/ul2-large-dutch-simplification-mai-2023
+  results:
+  - task:
+      type: text-simplification
+      name: Text Simplification
+    dataset:
+      type: BramVanroy/chatgpt-dutch-simplification
+      name: ChatGPT Dutch Simplification
+    metrics:
+      - type: rouge
+        value: 41.3871
+        name: Eval Rouge-1
+      - type: rouge
+        value: 19.6751
+        name: Eval Rouge-2
+      - type: rouge
+        value: 36.0469
+        name: Eval RougeL
+      - type: rouge
+        value: 36.1178
+        name: Eval RougeLsum
+      - type: sari
+        value: 54.3588
+        name: Eval SARI
+      - type: rouge
+        value: 43.8191
+        name: Test Rouge-1
+      - type: rouge
+        value: 21.7783
+        name: Test Rouge-2
+      - type: rouge
+        value: 39.3657
+        name: Test RougeL
+      - type: rouge
+        value: 39.3751
+        name: Test RougeLsum
+      - type: sari
+        value: 52.3752
+        name: Test SARI
+widget:
+- example_title: "Cooking"
+  text: "Op bepaalde tijdstippen verlang ik naar de smaakvolle culinaire creaties welke door de ambachtelijke expertise van mijn grootmoeder zijn vervaardigd."
+
 ---
+
+# ul2-large-dutch-simplification-mai-2023
+
+This model is intended to simplify Dutch sentences.
+
+This model is a fine-tuned version of [yhavinga/ul2-large-dutch](https://huggingface.co/yhavinga/ul2-large-dutch) on
+the [BramVanroy/chatgpt-dutch-simplification](https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification)
+dataset. 
+
+The model was created in light of the master thesis of Charlotte Van de Velde in the Master of Science in Artificial
+Intelligence (MAI) at KU Leuven in 2023. Charlotte is supervised by Vincent Vandeghinste and Bram Vanroy. 
+Dataset creation by Charlotte, model training by Bram.
+
+## Quick links
+
+- [Repository](https://github.com/BramVanroy/mai-simplification-nl-2023#22-hyperparameter-sweep): includes training code and model creation log
+- [Dataset](https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification): `BramVanroy/chatgpt-dutch-simplification`
+- [Parent model](https://huggingface.co/yhavinga/ul2-large-dutch): this model was finetuned on `yhavinga/ul2-large-dutch`
+
+## Intended uses & limitations, and dataset
+
+The model is intended for sentence-level simplification of Dutch. It might extend to document-level simplification
+but most of the dataset is limited to sentences so document-level performance is not guaranteed.
+
+The dataset has been generated automatically (cf.
+[dataset description](https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification)) and has not been
+manually verified. On top of that, this model has been fine-tuned and we did not scrutinize the parent model or its
+training data. Output of the current model is therefore subject to unexpected results (as most if not all neural
+networks).
+
+Because the dataset was generated with ChatGPT, this model cannot be used for commercial purposes.
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 0.0002927210895006501
+- train_batch_size: 32
+- optimizer: Adafactor
+- num_epochs: 27
+
+These hyperarameters were found through Bayesian hyperparameter search with `wandb`. This is described in the
+[repository](https://github.com/BramVanroy/mai-simplification-nl-2023#22-hyperparameter-sweep).
+
+### Training results
+
+`eval` results are on the evaluation set, `predict` results are on the test set. These were achieved with
+beam search (num_beams=3).
+
+```json
+{
+    "eval_gen_len": 21.404761904761905,
+    "eval_loss": 3.0882697105407715,
+    "eval_rouge1": 41.3871,
+    "eval_rouge2": 19.6751,
+    "eval_rougeL": 36.0469,
+    "eval_rougeLsum": 36.1178,
+    "eval_sari": 54.3588,
+  
+    "predict_gen_len": 22.1484375,
+    "predict_loss": 2.7822625637054443,
+    "predict_rouge1": 43.8191,
+    "predict_rouge2": 21.7783,
+    "predict_rougeL": 39.3657,
+    "predict_rougeLsum": 39.3751,
+    "predict_sari": 52.3752
+}
+```
+
+Note: the model seems to underperform compared to the
+[base variant](https://huggingface.co/BramVanroy/ul2-small-dutch-simplification-mai-2023) of the model, achieving only
+similar results with a much larger size. The reason for this may be found in the hyperparameters, where
+this large model may have benefitted from a smaller learning rate in the optimisation space. In the hyperparameter 
+search, the learning rate spectrum was set to 1e-03 to 1e-04 but this might be too large for this model and size. 
+
+### Framework versions
+
+- Transformers 4.29.2
+- Pytorch 2.0.1+cu117
+- Datasets 2.12.0
+- Tokenizers 0.13.3

added_tokens.json

@@ -0,0 +1,30 @@
+{
+  "[new_id_0]": 32100,
+  "[new_id_10]": 32110,
+  "[new_id_11]": 32111,
+  "[new_id_12]": 32112,
+  "[new_id_13]": 32113,
+  "[new_id_14]": 32114,
+  "[new_id_15]": 32115,
+  "[new_id_16]": 32116,
+  "[new_id_17]": 32117,
+  "[new_id_18]": 32118,
+  "[new_id_19]": 32119,
+  "[new_id_1]": 32101,
+  "[new_id_20]": 32120,
+  "[new_id_21]": 32121,
+  "[new_id_22]": 32122,
+  "[new_id_23]": 32123,
+  "[new_id_24]": 32124,
+  "[new_id_25]": 32125,
+  "[new_id_26]": 32126,
+  "[new_id_27]": 32127,
+  "[new_id_2]": 32102,
+  "[new_id_3]": 32103,
+  "[new_id_4]": 32104,
+  "[new_id_5]": 32105,
+  "[new_id_6]": 32106,
+  "[new_id_7]": 32107,
+  "[new_id_8]": 32108,
+  "[new_id_9]": 32109
+}

all_results.json

@@ -0,0 +1,24 @@
+{
+    "eval_gen_len": 21.404761904761905,
+    "eval_loss": 3.0882697105407715,
+    "eval_rouge1": 41.3871,
+    "eval_rouge2": 19.6751,
+    "eval_rougeL": 36.0469,
+    "eval_rougeLsum": 36.1178,
+    "eval_runtime": 22.6659,
+    "eval_samples": 126,
+    "eval_samples_per_second": 5.559,
+    "eval_sari": 54.3588,
+    "eval_steps_per_second": 0.706,
+    "predict_gen_len": 22.1484375,
+    "predict_loss": 2.7822625637054443,
+    "predict_rouge1": 43.8191,
+    "predict_rouge2": 21.7783,
+    "predict_rougeL": 39.3657,
+    "predict_rougeLsum": 39.3751,
+    "predict_runtime": 24.0731,
+    "predict_samples": 128,
+    "predict_samples_per_second": 5.317,
+    "predict_sari": 52.3752,
+    "predict_steps_per_second": 0.665
+}

config.json

@@ -0,0 +1,32 @@
+{
+  "_name_or_path": "yhavinga/ul2-large-dutch",
+  "architectures": [
+    "T5ForConditionalGeneration"
+  ],
+  "d_ff": 2816,
+  "d_kv": 64,
+  "d_model": 1024,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "gelu_new",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "gated-gelu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 24,
+  "num_heads": 16,
+  "num_layers": 24,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.29.2",
+  "use_cache": true,
+  "vocab_size": 32128
+}

generated_predictions.txt

@@ -0,0 +1,128 @@
+Onze hersenen kunnen ingewikkelde dingen doen doordat ze verbindingen maken tussen zenuwcellen die informatie verwerken en doorsturen via zenuwcellen.
+We hebben de ziekte onderzocht door middel van klinische observatie en laboratoriumtests.
+Om deze opdracht goed te kunnen uitvoeren, moet je veel weten over de materie en de wetgeving.
+Het is nooit verstandig om te voorspellen wat er zou kunnen gebeuren door alleen te denken aan wat er zou kunnen gebeuren door onverwachte omstandigheden.
+Hij was niet goed in praten, dus het was moeilijk om het concept goed uit te leggen.
+Bij het uitvoeren van de taak waren er een paar onverwachte problemen die de uitkomst van de taak beïnvloedden.
+Mensen veroorzaken de klimaatverandering door het uitstoten van broeikasgassen.
+Omdat deze materie ingewikkeld is, kan er soms verwarring ontstaan door de manier waarop we dit concept gebruiken.
+Kwantumverstrengeling tussen twee deeltjes betekent dat de toestand van het ene deeltje invloed heeft op de toestand van het andere deeltje.
+Het is belangrijk om goed na te denken over wat er kan gebeuren als je een bepaalde beslissing maakt.
+Het constructivisme gaat over hoe we kennis krijgen door actief te handelen en interactie met anderen te hebben.
+Het is belangrijk om te bedenken wat we kunnen doen om klimaatverandering tegen te gaan.
+Hoewel ze niet goed genoeg was, heeft ze geen kans gehad om haar vaardigheden te laten zien.
+Als je te veel suiker eet, kun je problemen krijgen met je hart en bloedvaten, zoals diabetes, hartproblemen, nefropathie, neuropathie en cardiovasculaire problemen.
+Het is belangrijk om na te denken over hoe we duurzame energiebronnen kunnen gebruiken.
+Mensen ervaren menselijke ervaringen op een manier die niet alleen afhangt van hun cultuur en geschiedenis, maar ook van hun achtergrond.
+Om dit probleem op te lossen, moeten verschillende experts samenwerken en naar het grotere geheel kijken.
+Mensen produceren gassen die bijdragen aan het veranderen van het klimaat.
+Mensen weten niet goed hoe ze een vaginale ring kunnen gebruiken, ook al is het al heel lang bekend.
+De manier waarop deze auto door de lucht beweegt zorgt ervoor dat het inparkeren makkelijk en snel gaat.
+Mensen willen altijd met elkaar praten en samenleven, wat vaak leidt tot groepsgedrag en het vormen van gemeenschappen.
+Kwantummechanica gaat over hele kleine deeltjes en hoe ze zich gedragen als golven en deeltjes tegelijkertijd.
+Westerse filosofie heeft de neiging om te denken dat de mensheid het centrum van het universum is.
+Als de data niet goed is, kan dat ervoor zorgen dat de resultaten niet consistent zijn.
+Elektromagnetische straling kan gammastraling zijn met veel frequenties en energieën, of radiogolven met lage frequenties en energieën.
+Het menselijk brein is ingewikkeld en heeft verschillende onderdelen zoals zien, onthouden, praten en aandacht.
+Hoewel de medicatie en leefstijlinterventie werkten, verbeterde de gezondheid van de deelnemers niet.
+In het speechen gebruikt men vaak overdrijving en metaforen om de boodschap beter te laten klinken.
+Ik denk dat het invoeren van deze nieuwe software geen problemen zal veroorzaken met de huidige systemen.
+Als we verder denken op basis van deze gegevens, kunnen we verkeerde conclusies trekken.
+Kwantummechanica is gebaseerd op moeilijke wiskunde en vereist veel kennis van wiskunde.
+Om te bepalen of een idee waar is, moet je er goed over nadenken en bewijs verzamelen.
+Het verschijnsel is moeilijk te begrijpen omdat het niet goed te voorspellen is.
+Het is duidelijk dat de behandeling afhankelijk is van verschillende factoren, zoals de kenmerken van de patiënt en de medicijnen die hij gebruikt.
+Het is moeilijk om beleidsmakers te begrijpen als verschillende partijen in het financiële systeem samenwerken.
+Het oppompen van stikstofhoudende verbindingen in de grond zorgt ervoor dat het ecosysteem beter blijft functioneren.
+Als ons brein niet goed werkt, kunnen we de realiteit niet begrijpen zoals die is.
+Als je de informatie over de kwestie hebt bestudeerd, kun je een conclusie trekken die redelijk is.
+De neurowetenschap heeft veel invloed gehad op hoe we ons bewustzijn ervaren.
+Als je het menselijk lichaam bekijkt, zie je dat er verschillende soorten anatomische structuren zijn die allemaal hun eigen functies en processen hebben.
+Kwantumsuperpositie betekent dat een deeltje op meerdere plekken tegelijk kan zijn totdat iemand het bekijkt of meet, waardoor de golffunctie verandert.
+Als twee oppervlakken elkaar raken, beïnvloedt de kracht waarmee ze elkaar raken de coëfficiënt tussen hen.
+Om de kwantummechanica te begrijpen, moet je het idee van de kwantummechanica begrijpen.
+Kwantumverstrengeling betekent dat als twee deeltjes ooit met elkaar in contact zijn gekomen, ze nog steeds met elkaar verbonden zijn, zelfs als ze ver uit elkaar zijn.
+De gegevens laten zien dat het fenomeen steeds groter wordt, waardoor de economie slechter kan gaan werken.
+Het is een moeilijke taak om deze ingewikkelde materie in begrijpelijke taal te vertalen.
+We kunnen niet zeggen dat de resultaten niet overeenkomen met wat we hadden verwacht.
+De coëfficiënt van de lineaire regressie tussen deze twee dingen is erg laag, dus het kan zijn dat het ene komt door het andere.
+Het is belangrijk om te kijken naar hoe het systeem werkt als je een analyse maakt van beleid.
+Om de onderneming goed te laten functioneren, moeten de verschillende afdelingen goed met elkaar samenwerken.
+Doordat het kapitaal niet goed was verdeeld, werden de productieve bronnen niet goed benut.
+Omdat de ziekte erg besmettelijk is, is het moeilijk om te weten wat er gaat gebeuren en hoe het gaat.
+De manier waarop moderne kunst in een oude museumzaal is geplaatst, maakte de tentoonstelling interessant.
+Om samen tot een oplossing te komen, moet je compromissen sluiten.
+Als je dingen doet die niet passen bij wat iemand gelooft, kan dat voor stress zorgen.
+Deze discussie gaat over wat kennis en waarheid is.
+Het voorspellen van toekomstige groei betekent dat er binnenkort veel meer mensen zullen zijn die deze gegevens gebruiken.
+De genetische structuur van een organisme bepaalt hoe het zich gedraagt.
+De virtuele werkelijkheid is een omgeving die de manier waarop we dingen waarnemen beïnvloedt.
+Linguïstische relativiteit betekent dat hoe we praten invloed heeft op hoe we de wereld zien en begrijpen.
+Hoe iemand eruitziet wordt beïnvloed door hun genen en omgeving.
+Een nepmedicijn dat geen actieve ingrediënten bevat, werkt beter bij mensen die al klachten hebben.
+De cognitieve dissonantietheorie zegt dat mensen geneigd zijn om inconsistenties tussen hun gedragingen te verminderen of te elimineren om harmonie te behouden.
+Mensen gebruiken het woord individualisme om te beschrijven of culturen meer gericht zijn op het beschermen van je eigen vrijheid of op het bevorderen van sociale relaties.
+De betekenis van de apocalyptische profetieën was niet goed te begrijpen voor de gewone persoon.
+Je kunt niet zomaar zeggen dat iets altijd zo is geweest en dat het altijd zo zal blijven.
+Mensen maken de aarde warmer door het verbranden van fossiele brandstoffen en het gebruik van landbouwmethoden.
+Hoewel de informatie erg verschillend is, wordt de analyse van de gegevens beschermd door strenge regels en analyses.
+De werknemers waren dol op hun werkgevers en beloonden hen altijd met lof en bewondering.
+Het is duidelijk dat klimaatverandering minder populair is geworden sinds de COVID-19-pandemie.
+Kwantumverstrengeling betekent dat twee deeltjes met elkaar verbonden zijn op een manier waarbij de toestand van het ene deeltje altijd samenhangt met de toestand van het andere deeltje, zelfs als ze ver uit elkaar zijn.
+We hebben het protocol niet goed genoeg toegepast, waardoor we minder goede resultaten hebben in ons experimenten.
+Bij een moeilijke taak kan er soms iets misgaan.
+Het universum is zo groot en het groeit steeds verder, dat het bijna onmogelijk is om alles te begrijpen.
+Als twee deeltjes aan elkaar vastzitten, beïnvloedt de toestand van het ene deeltje direct de toestand van het andere, zelfs als ze ver uit elkaar zijn.
+Kwantumverstrengeling is belangrijk in de natuurkunde van hele kleine deeltjes en hun interacties.
+Ons brein is een ingewikkeld apparaat dat allerlei dingen doet, zoals zien, onthouden, praten en emoties voelen.
+Het is duidelijk dat mensen verschillen in hun denkvermogen.
+Cognitieve dissonantie is wanneer iemands gedrag niet past bij wat ze denken en doen.
+Het is belangrijk om over dit onderwerp veel te weten.
+Wanneer iemand zich bewust wordt van zinloosheid of betekenis in zijn leven, kan hij of zij zich zorgen maken over wat er zou kunnen gebeuren.
+Het is lastig om precies te begrijpen hoe onze hersenen werken en hoe we ons gedrag beïnvloeden.
+Omdat de hypotheekrente momenteel laag is, zou je de rente kunnen vastzetten voor een langere periode om te profiteren van de lage rentetarieven.
+Quantumverstrengeling is wanneer twee of meer deeltjes zo verbonden zijn dat de toestand van het ene deeltje afhankelijk is van het andere deeltje, zelfs als ze ver uit elkaar zijn.
+Een moeilijke taak kost meer tijd om te voltooien.
+De geprojecteerde economische groei van de BRICS-landen is hoger dan de groei van de S&P 500-index en de Amerikaanse dollar.
+Door klimaatverandering worden er steeds meer extreme weersomstandigheden zoals overstromingen, droogtes en hittegolven.
+Er zijn al verschillende politieke partijen die hun mening hebben gegeven over de zaak, ook al weten we nog niet precies wat er gaat gebeuren.
+Het is duidelijk dat de plannen van de overheid om de economie te herstructureren invloed zullen hebben op de werkgelegenheid en de inkomens van de lokale bevolking.
+De tekst was verwarrend omdat de verschillende paragrafen niet goed bij elkaar pasten.
+De onderzoekers dachten dat het verhogen van de dosis het medicijn beter zou werken.
+Het bloed door het lichaam gaat via de zenuwen en hormonen die door de endocriene klieren worden uitscheiden.
+De manier waarop wetenschappelijke experimenten werken, is gebaseerd op een manier die we hypothetisch-deductieve redenering noemen.
+De meeste mensen vinden het lastig om de ingewikkelde ideeën over hoe dingen werken te begrijpen.
+Het utilitarisme zegt dat het goed is om zoveel mogelijk geluk te hebben voor de meeste mensen.
+Als er niet genoeg verschillende mensen werken, kunnen sommige mensen zich buitengesloten voelen en andere mensen niet.
+Om dit wiskundige probleem op te lossen, heb je veel kennis van algebra en getaltheorie nodig.
+Het is moeilijk om de realiteit te begrijpen als je veel stress hebt.
+Door verschillende expertises te combineren, hebben we het probleem beter begrepen.
+Het is belangrijk dat iedereen het eens is over hoe we deze strategie gaan uitvoeren.
+De onderzoekers hebben onderzocht hoe sterk het drinken van alcohol bij oudere mannen invloed heeft op hun denkvermogen.
+Als we een woord vervangen door een zin, kan het soms moeilijk zijn om te begrijpen wat het betekent.
+In deze studie ga ik op zoek naar manieren waarop mensen hun identiteit kunnen vormgeven.
+Als verschillende mensen binnen een organisatie samenwerken, kan het soms problemen veroorzaken die we niet hadden verwacht.
+Als de gegevens steeds veranderen, is het moeilijker om te voorspellen wat er gaat gebeuren.
+Het menselijk brein is ingewikkeld, daarom is het lastig om precies te begrijpen hoe het werkt.
+Omdat taal erg ingewikkeld is, zijn er verschillende manieren om een zin te begrijpen.
+De relativiteitstheorie gaat over lichtsnelheid in een vacuüm, en zegt dat deze altijd constant is.
+Kunstvoorwerpen hebben altijd een geschiedenis en moeten worden begrepen in hun context om te begrijpen wat ze betekenen.
+Als de verschillende onderdelen van een ecosysteem met elkaar verbonden zijn, is het moeilijk om te voorspellen wat er gaat gebeuren.
+De groei van neuronen in de hippocampus wordt beïnvloed door verschillende dingen, zoals de manier waarop onze hersenen werken en onze genen.
+De kwantumfysica gaat over hele kleine deeltjes en is gebaseerd op wiskunde.
+Als je te veel dingen tegelijk doet, word je moe in je hoofd en ga je slechter presteren.
+Het is niet altijd duidelijk wanneer het gesteente beweegt vanwege de seismische activiteit.
+De technologieën die we tegenwoordig gebruiken, zijn erg ingewikkeld en kunnen ons vermogen om ze te begrijpen en te beheersen ver te boven gaan.
+Om te kijken hoe deeltjes zich gedragen, kun je een microscoop gebruiken.
+We moeten het eens worden over hoe belangrijk de resultaten van het onderzoek zijn voordat we onze conclusies trekken.
+Het is belangrijk dat we samen werken om de duurzame ontwikkelingsdoelen te bereiken.
+Het corpus callosum is een witte stofband die de twee hersenhelften met elkaar verbindt en ervoor zorgt dat ze met elkaar kunnen praten.
+De kwantummechanica is moeilijk te begrijpen voor de meeste mensen omdat het een vaag idee is.
+Het is belangrijk om te bedenken hoe een uitdrukking gebruikt wordt in verschillende situaties.
+Om een fysieke substantie te sublimeren, moet je eerst de vaste fase naar de gasvormige fase brengen, voordat je een vloeibare fase kunt maken.
+Het is lastig om te begrijpen hoe de parameters elkaar beïnvloeden omdat het erg ingewikkeld is.
+Het dialect verschilt sterk van de standaardtaal.
+Als er problemen zijn, kunnen de passagiers gebruikmaken van de nooduitgangen die zich aan beide kanten van het voertuig bevinden.
+Om het onderzoek goed te kunnen doen, moeten wetenschappers samenwerken en alle aspecten van het probleem bekijken, ook die buiten hun eigen vakgebied.
+De gedachte dat variatie in genetisch materiaal ervoor zorgt dat sommige dingen er anders uitzien, wordt ondersteund door de experimentele resultaten.
+Acquisitie van taalkennis gebeurt door het opdoen van ervaringen met taal in verschillende situaties.

generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "decoder_start_token_id": 0,
+  "eos_token_id": 1,
+  "pad_token_id": 0,
+  "transformers_version": "4.29.2"
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7cd6cdca9ceabcd31cd8379c0f3dc62c79e44b847046593786f2f43c5345a482
+size 3132793669

special_tokens_map.json

@@ -0,0 +1,107 @@
+{
+  "additional_special_tokens": [
+    "<extra_id_0>",
+    "<extra_id_1>",
+    "<extra_id_2>",
+    "<extra_id_3>",
+    "<extra_id_4>",
+    "<extra_id_5>",
+    "<extra_id_6>",
+    "<extra_id_7>",
+    "<extra_id_8>",
+    "<extra_id_9>",
+    "<extra_id_10>",
+    "<extra_id_11>",
+    "<extra_id_12>",
+    "<extra_id_13>",
+    "<extra_id_14>",
+    "<extra_id_15>",
+    "<extra_id_16>",
+    "<extra_id_17>",
+    "<extra_id_18>",
+    "<extra_id_19>",
+    "<extra_id_20>",
+    "<extra_id_21>",
+    "<extra_id_22>",
+    "<extra_id_23>",
+    "<extra_id_24>",
+    "<extra_id_25>",
+    "<extra_id_26>",
+    "<extra_id_27>",
+    "<extra_id_28>",
+    "<extra_id_29>",
+    "<extra_id_30>",
+    "<extra_id_31>",
+    "<extra_id_32>",
+    "<extra_id_33>",
+    "<extra_id_34>",
+    "<extra_id_35>",
+    "<extra_id_36>",
+    "<extra_id_37>",
+    "<extra_id_38>",
+    "<extra_id_39>",
+    "<extra_id_40>",
+    "<extra_id_41>",
+    "<extra_id_42>",
+    "<extra_id_43>",
+    "<extra_id_44>",
+    "<extra_id_45>",
+    "<extra_id_46>",
+    "<extra_id_47>",
+    "<extra_id_48>",
+    "<extra_id_49>",
+    "<extra_id_50>",
+    "<extra_id_51>",
+    "<extra_id_52>",
+    "<extra_id_53>",
+    "<extra_id_54>",
+    "<extra_id_55>",
+    "<extra_id_56>",
+    "<extra_id_57>",
+    "<extra_id_58>",
+    "<extra_id_59>",
+    "<extra_id_60>",
+    "<extra_id_61>",
+    "<extra_id_62>",
+    "<extra_id_63>",
+    "<extra_id_64>",
+    "<extra_id_65>",
+    "<extra_id_66>",
+    "<extra_id_67>",
+    "<extra_id_68>",
+    "<extra_id_69>",
+    "<extra_id_70>",
+    "<extra_id_71>",
+    "<extra_id_72>",
+    "<extra_id_73>",
+    "<extra_id_74>",
+    "<extra_id_75>",
+    "<extra_id_76>",
+    "<extra_id_77>",
+    "<extra_id_78>",
+    "<extra_id_79>",
+    "<extra_id_80>",
+    "<extra_id_81>",
+    "<extra_id_82>",
+    "<extra_id_83>",
+    "<extra_id_84>",
+    "<extra_id_85>",
+    "<extra_id_86>",
+    "<extra_id_87>",
+    "<extra_id_88>",
+    "<extra_id_89>",
+    "<extra_id_90>",
+    "<extra_id_91>",
+    "<extra_id_92>",
+    "<extra_id_93>",
+    "<extra_id_94>",
+    "<extra_id_95>",
+    "<extra_id_96>",
+    "<extra_id_97>",
+    "<extra_id_98>",
+    "<extra_id_99>"
+  ],
+  "eos_token": "</s>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:caa6e2f21aeec181276ab80273e3f869ce303ccb8602d68e0524783c3581092d
+size 800223

tokenizer_config.json

@@ -0,0 +1,113 @@
+{
+  "additional_special_tokens": [
+    "<extra_id_0>",
+    "<extra_id_1>",
+    "<extra_id_2>",
+    "<extra_id_3>",
+    "<extra_id_4>",
+    "<extra_id_5>",
+    "<extra_id_6>",
+    "<extra_id_7>",
+    "<extra_id_8>",
+    "<extra_id_9>",
+    "<extra_id_10>",
+    "<extra_id_11>",
+    "<extra_id_12>",
+    "<extra_id_13>",
+    "<extra_id_14>",
+    "<extra_id_15>",
+    "<extra_id_16>",
+    "<extra_id_17>",
+    "<extra_id_18>",
+    "<extra_id_19>",
+    "<extra_id_20>",
+    "<extra_id_21>",
+    "<extra_id_22>",
+    "<extra_id_23>",
+    "<extra_id_24>",
+    "<extra_id_25>",
+    "<extra_id_26>",
+    "<extra_id_27>",
+    "<extra_id_28>",
+    "<extra_id_29>",
+    "<extra_id_30>",
+    "<extra_id_31>",
+    "<extra_id_32>",
+    "<extra_id_33>",
+    "<extra_id_34>",
+    "<extra_id_35>",
+    "<extra_id_36>",
+    "<extra_id_37>",
+    "<extra_id_38>",
+    "<extra_id_39>",
+    "<extra_id_40>",
+    "<extra_id_41>",
+    "<extra_id_42>",
+    "<extra_id_43>",
+    "<extra_id_44>",
+    "<extra_id_45>",
+    "<extra_id_46>",
+    "<extra_id_47>",
+    "<extra_id_48>",
+    "<extra_id_49>",
+    "<extra_id_50>",
+    "<extra_id_51>",
+    "<extra_id_52>",
+    "<extra_id_53>",
+    "<extra_id_54>",
+    "<extra_id_55>",
+    "<extra_id_56>",
+    "<extra_id_57>",
+    "<extra_id_58>",
+    "<extra_id_59>",
+    "<extra_id_60>",
+    "<extra_id_61>",
+    "<extra_id_62>",
+    "<extra_id_63>",
+    "<extra_id_64>",
+    "<extra_id_65>",
+    "<extra_id_66>",
+    "<extra_id_67>",
+    "<extra_id_68>",
+    "<extra_id_69>",
+    "<extra_id_70>",
+    "<extra_id_71>",
+    "<extra_id_72>",
+    "<extra_id_73>",
+    "<extra_id_74>",
+    "<extra_id_75>",
+    "<extra_id_76>",
+    "<extra_id_77>",
+    "<extra_id_78>",
+    "<extra_id_79>",
+    "<extra_id_80>",
+    "<extra_id_81>",
+    "<extra_id_82>",
+    "<extra_id_83>",
+    "<extra_id_84>",
+    "<extra_id_85>",
+    "<extra_id_86>",
+    "<extra_id_87>",
+    "<extra_id_88>",
+    "<extra_id_89>",
+    "<extra_id_90>",
+    "<extra_id_91>",
+    "<extra_id_92>",
+    "<extra_id_93>",
+    "<extra_id_94>",
+    "<extra_id_95>",
+    "<extra_id_96>",
+    "<extra_id_97>",
+    "<extra_id_98>",
+    "<extra_id_99>"
+  ],
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "</s>",
+  "extra_ids": 100,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "T5Tokenizer",
+  "unk_token": "<unk>",
+  "use_fast_tokenizer": false
+}