evaluation

README.md

@@ -11,7 +11,21 @@ datasets:
 - mozilla-foundation/common_voice_8_0
 model-index:
 - name: wav2vec2-xls-r-300m-gn-cv8
-  results: []
+  results:
+  - task: 
+      name: Automatic Speech Recognition 
+      type: automatic-speech-recognition
+    dataset:
+      name: Common Voice 8
+      type: mozilla-foundation/common_voice_8_0
+      args: pt
+    metrics:
+       - name: Test WER
+         type: wer
+         value: 69.05
+       - name: Test CER
+         type: cer
+         value: 14.70
 ---
 
 <!-- This model card has been generated automatically according to the information the Trainer had access to. You

eval.py

@@ -0,0 +1,137 @@
+#!/usr/bin/env python3
+import argparse
+import re
+from typing import Dict
+
+import torch
+from datasets import Audio, Dataset, load_dataset, load_metric
+
+from transformers import AutoFeatureExtractor, pipeline
+
+
+def log_results(result: Dataset, args: Dict[str, str]):
+    """DO NOT CHANGE. This function computes and logs the result metrics."""
+
+    log_outputs = args.log_outputs
+    dataset_id = "_".join(args.dataset.split("/") + [args.config, args.split])
+
+    # load metric
+    wer = load_metric("wer")
+    cer = load_metric("cer")
+
+    # compute metrics
+    wer_result = wer.compute(references=result["target"], predictions=result["prediction"])
+    cer_result = cer.compute(references=result["target"], predictions=result["prediction"])
+
+    # print & log results
+    result_str = f"WER: {wer_result}\n" f"CER: {cer_result}"
+    print(result_str)
+
+    with open(f"{dataset_id}_eval_results.txt", "w") as f:
+        f.write(result_str)
+
+    # log all results in text file. Possibly interesting for analysis
+    if log_outputs is not None:
+        pred_file = f"log_{dataset_id}_predictions.txt"
+        target_file = f"log_{dataset_id}_targets.txt"
+
+        with open(pred_file, "w") as p, open(target_file, "w") as t:
+
+            # mapping function to write output
+            def write_to_file(batch, i):
+                p.write(f"{i}" + "\n")
+                p.write(batch["prediction"] + "\n")
+                t.write(f"{i}" + "\n")
+                t.write(batch["target"] + "\n")
+
+            result.map(write_to_file, with_indices=True)
+
+
+def normalize_text(text: str) -> str:
+    """DO ADAPT FOR YOUR USE CASE. this function normalizes the target text."""
+
+    chars_to_ignore_regex = '[,?.!\-\;\:"“%‘”�—’…–]'  # noqa: W605 IMPORTANT: this should correspond to the chars that were ignored during training
+
+    text = re.sub(chars_to_ignore_regex, "", text.lower())
+
+    # In addition, we can normalize the target text, e.g. removing new lines characters etc...
+    # note that order is important here!
+    token_sequences_to_ignore = ["\n\n", "\n", "   ", "  "]
+
+    for t in token_sequences_to_ignore:
+        text = " ".join(text.split(t))
+
+    return text
+
+
+def main(args):
+    # load dataset
+    dataset = load_dataset(args.dataset, args.config, split=args.split, use_auth_token=True)
+
+    # for testing: only process the first two examples as a test
+    # dataset = dataset.select(range(10))
+
+    # load processor
+    feature_extractor = AutoFeatureExtractor.from_pretrained(args.model_id)
+    sampling_rate = feature_extractor.sampling_rate
+
+    # resample audio
+    dataset = dataset.cast_column("audio", Audio(sampling_rate=sampling_rate))
+
+    # load eval pipeline
+    if args.device is None:
+        args.device = 0 if torch.cuda.is_available() else -1
+    asr = pipeline("automatic-speech-recognition", model=args.model_id, device=args.device, feature_extractor=feature_extractor)
+
+    # map function to decode audio
+    def map_to_pred(batch):
+        prediction = asr(
+            batch["audio"]["array"], chunk_length_s=args.chunk_length_s, stride_length_s=args.stride_length_s
+        )
+
+        batch["prediction"] = prediction["text"]
+        batch["target"] = normalize_text(batch["sentence"])
+        return batch
+
+    # run inference on all examples
+    result = dataset.map(map_to_pred, remove_columns=dataset.column_names)
+
+    # compute and log_results
+    # do not change function below
+    log_results(result, args)
+
+
+if __name__ == "__main__":
+    parser = argparse.ArgumentParser()
+
+    parser.add_argument(
+        "--model_id", type=str, required=True, help="Model identifier. Should be loadable with 🤗 Transformers"
+    )
+    parser.add_argument(
+        "--dataset",
+        type=str,
+        required=True,
+        help="Dataset name to evaluate the `model_id`. Should be loadable with 🤗 Datasets",
+    )
+    parser.add_argument(
+        "--config", type=str, required=True, help="Config of the dataset. *E.g.* `'en'`  for Common Voice"
+    )
+    parser.add_argument("--split", type=str, required=True, help="Split of the dataset. *E.g.* `'test'`")
+    parser.add_argument(
+        "--chunk_length_s", type=float, default=None, help="Chunk length in seconds. Defaults to 5 seconds."
+    )
+    parser.add_argument(
+        "--stride_length_s", type=float, default=None, help="Stride of the audio chunks. Defaults to 1 second."
+    )
+    parser.add_argument(
+        "--log_outputs", action="store_true", help="If defined, write outputs to log file for analysis."
+    )
+    parser.add_argument(
+        "--device",
+        type=int,
+        default=None,
+        help="The device to run the pipeline on. -1 for CPU (default), 0 for the first GPU and so on.",
+    )
+    args = parser.parse_args()
+
+    main(args)

eval.sh

@@ -0,0 +1 @@
+python3 eval.py --model_id ./ --dataset mozilla-foundation/common_voice_8_0 --config gn --split test --log_outputs

log_mozilla-foundation_common_voice_8_0_gn_test_predictions.txt

@@ -0,0 +1,318 @@
+0
+kóva ipukóta
+1
+nacheko'eporãi
+2
+ikatéva haichapiĩva
+3
+ijeike políticape
+4
+aikuaa amanótaha
+5
+ha hi'ariete ndaje ohepyi mbe'ẽ hikuái chupe
+6
+koʼag̃aite ndaikatui ahecha ndeve
+7
+ikaambýgui ojeja pokesu
+8
+eipyhýpe ajaka ha tereko ejogua ñandéve ipokueterãiñakangue
+9
+ohenduvo umi mba'e ña mariao porandujeýkuri
+10
+aru uma ñanerentã kavaju
+11
+oñoty ylyguipe kavo ra'ỹi
+12
+chy 'año che rógape
+13
+cheve roguarã oĩporã
+14
+aporanduichaangirũme ha nandekuaái
+15
+vetárã oikove
+16
+naha ʼéi vaicha henda
+17
+hetilopoétiko oipurúva
+18
+ha hesereikumandára ha aveikuratepeĩ
+19
+upeva ha óere avei imaymátapisa uoñoogñareko porã itayrahaitajyrakuérare
+20
+tereho koág̃a pya'aike
+21
+haʼéi omondo apymembykuéra mboaeheaópe
+22
+ekove hohembiapokue
+23
+kasonimonde'u pyhare
+24
+ndekera seraha
+25
+ivahéhi la situ
+26
+ojaguamascáda ha patélma ndiro
+27
+pyhareo u jeypi ojahu ho'u ho'uva ha oñenóõke
+28
+oñomongetakyre'ỹhaipa haitépe katu ombojoaju hikuái hekove
+29
+iñirũnguéra oñemondoipa ha py'aréipeko osẽ ohopa heseve ikotýpekuéra
+30
+añembotavýnte ha ndaʼéi mbaʼe vete che rembirekope
+31
+moõjeý pa oime reho
+32
+oguahẽvo ogaípe omombeu ohechavaʼekue
+33
+peteĩ tava'ípe oikova'ekue ñakame ha inemby kalo
+34
+mitãmi ha mitãrusúrõ
+35
+ndetavy
+36
+omanopove che mbarakajamiojuka avei vare'águi angujape
+37
+araka'eve nombotovei avavépe
+38
+ña mbojojava'erã
+39
+ha'ekóera niko oikova'ekue ñepyrũrámi itakyrýpe
+40
+ami rejahéi avavéridentevoi haʼégui upe ereje a póva
+41
+tereho porainte
+42
+hembiapokue itatu ombohesape'a tadayguápe
+43
+mitãrusu hemyhéẽva pokavyha kerayvotyeta poarãgui
+44
+epu'ã ha eñepyrujey
+45
+oñemboatypajeíkuri ihikuái
+46
+mborevirape
+47
+javinéte oguerekóva
+48
+cheʼeremánoe laʼipuravéva
+49
+mba'érepa re'use eira
+50
+hekovepaha omanomboype
+51
+peteĩ ára je ña nderu outujamiramo oguatávo yvape ári
+52
+eguerumina ché vechevosa rejukuevo
+53
+tólao ñemoñarõ
+54
+mba'éichapa héra nde ragaugua
+55
+ohoreĩngo heseve hikuái
+56
+jahechángo hogagua apehapépeauku'e
+57
+oñepyrũkuri ojo'o hoho oimoaaỹre ojuhu hikuái peteĩ kuña rete kanguekue
+58
+mboha pyve ijavo moarotĩ lehege guapyhína tapeykepe
+59
+mba'érepa naporandói chupe mavapahae
+60
+ña maria niko upepeguavoíkuri
+61
+py'ỹintei amañajey hesei
+62
+upéi ijára ohecha chupe ha'ipochy
+63
+ñemosã ha ãpe hapependereraha
+64
+oipokuaa ha oipykua tuichami hitajýra ha kalaícuive rocpe
+65
+mokõinko tymi ha peteĩ nkátaypy
+66
+mávape piko taita
+67
+néi mandu'anpei itúva haisyre
+68
+che nañe'ẽi guaranime
+69
+paraguái guyeraite
+70
+ág̃anteko ajava'erã laprisésare
+71
+bua'uhápente oinupã chupe
+72
+mba'épa raeijapova'erã reiko pukuche'õ
+73
+po'aa ndaja chokói
+74
+ha upépe oikópe kaoruguachu
+75
+opu'a jave ohohagua oguerúi mbaʼe
+76
+ma'ymave apysápe oike nomarandu
+77
+raulpéña ha omboaeha otelamáicpegua
+78
+ho 'u paite
+79
+ohasa jey peteĩ arapokoimby
+80
+oñaty
+81
+peĩ guahẽ
+82
+ami ndnoede nde'eireg̃o nenaiha  ndejuku
+83
+aguy je
+84
+ypa'ũ rera
+85
+peteĩ tapepo'i puku opahápe ojogapókuri karaípoli karpo
+86
+ko ára niko hi'aramboty
+87
+nahesakaete chupe
+88
+ñe'ẽrã
+89
+ejapopu'ẽke reja povymbími
+90
+kojupi tendo tarapi
+91
+petrimo oñooitériko
+92
+avei oipuru ypyratã  ha hu'ye
+93
+oveve áera ha á'era ñanereta tuisiakuejaveve
+94
+vya teoñeime
+95
+ndaéichapa ojehechakuaa
+96
+cheramoi oguapyva tatajerere
+97
+hekoreory ha imorangatúva
+98
+imembykóérape jepe ojaʼo upehaguere
+99
+peteĩ pyhare oguahe oúvo cheryvy peteĩn
+100
+imatakue ha ta
+101
+amirioĩjeýma iche ro'ape
+102
+peteĩ jatepoguachúpe katu oñembopopurma ndi'o
+103
+omivo tatu iporãvéntema
+104
+ejúpe itakóreri
+105
+aiñe'ĩ inglesikémi
+106
+kova ivaéi he'i imembykuru ruva
+107
+pemitãkuña omongaru umymbakuérape
+108
+ha oja'ojeyhag̃ua chupeojapohague rehesepeica
+109
+ta upéicha
+110
+oreko mokõi resasaʼyju
+111
+dojoguaiete isýpe
+112
+ha sypáma ha okuerajeýma hikuái
+113
+oñeguahẽ hagua
+114
+mba'apo na ñande'apoíri
+115
+mate oho'upaite cheterere
+116
+oĩ ojajaova'ekue oipururiavañe'ẽ
+117
+avei ykaraipyrékuruchumimi ha tataindy
+118
+karaicveréíra ombosako i irambosarã
+119
+añuakakuaa ndéve
+120
+terehupytyvy 'apamẽ
+121
+ombojeguapa ha ombohorýko ñareretã
+122
+cheroha yhuháicha ndaipotái cherayhu
+123
+ña nderu taneñongatoipópe
+124
+ka'arupytũvo omanóma katu
+125
+ko'ẽrvareko peteĩ aranducha uka
+126
+he'icheve  ambyengovia hag̃ua peteĩ tesapeha pyahúvare
+127
+chengvaha ta chupe pyha rekue
+128
+hembiapo teete
+129
+irũnguéra
+130
+peteñ ára ovahẽmborika resýi peteĩ oga'i peve
+131
+ko'ág̃a oĩhámerijeta
+132
+upéi ñarembosa ta ñandegutope
+133
+aguahẽvo hẽnondépeajuhu iñipytuha
+134
+upépe katu iñarovéintema hendive mitã karialkúéra
+135
+peteĩ ára omañnosõpy'a upéi karai rembireko
+136
+mbohapy arahaguépe ntaje
+137
+irundy mondaha ojlapókuri hembiapovai molackue jerere
+138
+ama opororo yvytu reheve
+139
+ha veto'ipentevoi ojekuaave chupe
+140
+ichy omanókuriha 'e heñoirõ guare
+141
+peteĩ jey ñantoñavaka porã peteĩ iko'ẽ omarno
+142
+nochẽĩvaavoi upégui
+143
+anére ovepichahele
+144
+ipa'ũme hoĩ avei
+145
+hose okañu yvyrakutépe
+146
+imembykuera katu omendárehe ohopahhikuái
+147
+ndéve yemaña cherechioe
+148
+upéguintema ojeraháma chupe kuaretélpe
+149
+araváingohaiñipytũ ñepyrũma
+150
+upépyhare pukukueniko okyha peichajey iko'ẽ
+151
+tahaeha'épa eñembojakuaa che rajýrendape
+152
+aiko porã
+153
+teta sambyhýpe
+154
+mbo'úta ovale
+155
+hesu niko tuparaʼy
+156
+taguatoruichá niko pehekoverosandéva gyrakuerahesegua'apytépe
+157
+hetaitereirasa hoika hikuái ha mamope ndojuhúi mitã'i akãhratãme
+158
+ha ndoipotáivoi ha'e omenaoipohanu kava'ekue inosésiape

log_mozilla-foundation_common_voice_8_0_gn_test_targets.txt

@@ -0,0 +1,318 @@
+0
+kóva ipukúta
+1
+nacheko'ẽporãi
+2
+ikatéva ha ichapĩva
+3
+ijeike políticape
+4
+aikuaa amanotaha
+5
+ha hi'ariete ndaje ohepyme'ẽ hikuái chupe
+6
+ko'ag̃aite ndaikatúi ahecha ndéve
+7
+ikambýgui ojejapo kesu
+8
+eipyhy pe ajaka ha tereho ejogua ñandéve ipokue térã iñakãngue
+9
+ohendúvo umi mba'e ña maria oporandujeýikuri
+10
+arúma ñane renda kavaju
+11
+oñotỹ yvyguýpe ka'avo ra'ỹi
+12
+cheaño che rógape
+13
+chéverõ g̃uarã oĩ porã
+14
+aporandu che angirũme ha nandekuaái
+15
+tetã oikove
+16
+ndaha'éivaicha henda
+17
+estilo poético oiporúva
+18
+ha heseve kumanda ha avei kurapepẽ
+19
+upehaguére avei mayma tapicha oñangareko porã ita'ýra ha itajyrakuérare
+20
+¡tereho ko'ág̃a pya'éke
+21
+ha'e omondo imembykuéra mbo'ehaópe
+22
+hekove ha hembiapokue
+23
+káso ñemombeʼu pyhare
+24
+¡ndekyra che ra'a
+25
+ivai la situ
+26
+pajagua mascada ha pastel mandi'o
+27
+pyhare oújepi ojahu hoʼu hoʼúva ha oñeno oke
+28
+oñomongeta kyre'ỹ ha ipahaitépe katu ombojoaju hikuái hekove
+29
+iñirũnguéra oñemondyipa ha pya'épeko osẽ ohopa heseve ikotypekuéra
+30
+añembotavýnte ha nda'ei mba'evete che rembirekópe
+31
+moõjeýmapa oiméne oho
+32
+og̃uahẽvo oga'ípe omombe'u ohechava'ekue
+33
+peteĩ tava'ípe oikova'ekue ña kame ha imemby kalo
+34
+mitãmi ha mitãrusúrõ
+35
+ndetavy
+36
+omano mboyve che mbarakajami ojuka avei vare'águi angujápe
+37
+arakaʼeve nombotovéi avavépe
+38
+ñambojojávaʼerã
+39
+ha'ekuéra niko oikova'ekue ñepyrũrãme itakyrýpe
+40
+ani rejahéi avavére ndentevoi ha'égui upe reje'apóva
+41
+terehoporãite
+42
+hembiapokue ikatu ombohesapeʼa tavayguápe
+43
+mitãrusu henyhẽva pukavy ha kerayvotyeta porãgui
+44
+epu'ã ha eñepyrũjey
+45
+oñembyatypajeýkuri hikuái
+46
+mborevi rape
+47
+gabinete oguerekóva
+48
+che ermána la iporãvéva
+49
+mba'érepa re'use eíra
+50
+hekove paha omano mboyve
+51
+peteĩ áraje ñande ru ou tujamíramo oguatávo yvy ape ári
+52
+eguerumína chéve che vosa rejukuévo
+53
+toro ñemoñarõ
+54
+mba'éichapa héra nde rogaygua
+55
+ohoreíngo heseve hikuái
+56
+jahechángo ogaygua ápe ha pépe oku'e
+57
+oñepyrũkuri ojo'o ha oimo'ã'ỹre ojuhu hikuái peteĩ kuña rete kanguekue
+58
+mbohapyve ijao morotĩ reheve oguapýhina tape yképe
+59
+mba'érepa naporandúi chupe mávapa ha'e
+60
+ña maria niko upepeguavoíkuri
+61
+py'ỹinte amañajey hese
+62
+upéi ijára ohecha chupe ha ipochy
+63
+nemosã ha ápe ha pépe ndereraha
+64
+oipokua ha oipykua tujami itajýra ha karai riverospe
+65
+mokõi kotymi ha peteĩ tataypy
+66
+mávapepiko taita
+67
+naimandu'avéi itúva ha isýre
+68
+che nañe'ẽi guaraníme
+69
+paraguái guyraite
+70
+ág̃anteko ajava'erã la princesare
+71
+gua'uhápente oinupã chupe
+72
+mba'épa rejapova'erã reiko pukusérõ
+73
+poʼa ndajajokói
+74
+ha upépe oiko pe karuguasu
+75
+opu'ã jave oho hag̃ua ogueru imba'e
+76
+maymave apysápe oike ne marandu
+77
+raúl peña ha mboʼehao stella marispegua
+78
+houpaite
+79
+ohasajey peteĩ arapokõindy
+80
+oñotỹ
+81
+peg̃uahẽ
+82
+ani mbaʼeve nde eréva nembaʼeha ndejoko
+83
+aguyje
+84
+ypa'ũ réra
+85
+peteĩ tapepo'i puku opahápe ojogapókuri karai policarpo
+86
+ko ára niko hi'aramboty
+87
+nahesakãiete chupe
+88
+ñe'ẽrã
+89
+ejapopya'éke rejapóva'erã
+90
+ojupi tendotáramo
+91
+patrimonio histórico
+92
+avei oipuru yvyrapã ha hu'y
+93
+oveve ára ha ára ñane retã tuichakue javeve
+94
+vy'ápe oñeime
+95
+mba'éichapa ojehechakuaa
+96
+che ramói oguapýva tata jerére
+97
+hekorory ha imarangatúva
+98
+imembykuérape jepe oja'o upehaguére
+99
+peteĩ pyhare og̃uahẽ oúvo che ryvy peteĩ
+100
+imatakue hatã
+101
+nahániri oĩjeýma che rógape
+102
+peteĩ japepo guasúpe katu oñembopupu mandi'o
+103
+umíva katu iporãvéntema
+104
+ejúpy jaterere
+105
+oñe'ẽ inglés ñe'ẽme
+106
+kóva ivai he'i imemby kururúva
+107
+pe mitãkuña omongaru mymbakuérape
+108
+ha oja'ojey hag̃ua chupe ojapohaguére hese péicha
+109
+taupéicha
+110
+oreko mokõi resa sa'yju
+111
+ndojoguaiete isýpe
+112
+hasypáma ha okuerajeýma hikuái
+113
+oñeg̃uahẽ hag̃ua
+114
+mba'apo nañande'apo'íri
+115
+mateo houpaite che terere
+116
+oĩ ojejaʼovaʼekue oipurúre avañeʼẽ
+117
+avei ykaraipyre kurusumimi ha tataindy
+118
+karai ferreira ombosako'i irambosarã
+119
+añuã kakuaa ndéve
+120
+terehupyty vy'apavẽ
+121
+ombojeguapa ha ombohory ko ñane retã
+122
+che rohayhuháicha ndaipotái nde cherayhu
+123
+ñande ru taneñongatu ipópe
+124
+ka'arupytũvo omanóma katu
+125
+ko'ẽrõ areko peteĩ aranduchauka
+126
+he'i chéve amyengovia hag̃ua peteĩ tesapeha pyahúvare
+127
+chéngo aháta chupe pyharekue
+128
+hembiapo teete
+129
+¡irũnguéra
+130
+peteĩ ára og̃uahẽ mburika rysýi peteĩ oga'i peve
+131
+ko'ág̃a oĩháme villeta
+132
+upéi ñarambosáta ñande gustope
+133
+ag̃uahẽvo henondépe ajuhu iñipytũha
+134
+upépe katu iñarõvéntema hendive mitãkaria'ykuéra
+135
+peteĩ ára omanósapy'a upe karai rembireko
+136
+mbohapy ára haguépe ndaje
+137
+irundy mondaha ojapókuri hembiapo vai molaskue jerére
+138
+ama opororo yvytu reheve
+139
+ha beto'ípentevoi ojekuaave chupe
+140
+isy omanókuri ha'e heñoirõguare
+141
+peteĩ jey ña antonia vaka porã peteĩ iko'ẽ omano
+142
+nosẽivavoi upégui
+143
+ani re'uve pizza helen
+144
+ipa'ũme oĩ avei
+145
+josé okañy yvyra kupépe
+146
+imembykuéra katu omenda rehe ohopa hikuái
+147
+nde remaña cherehe
+148
+upéguintema ojeraháma chupe cuartelpe
+149
+ara vaíngo ha iñipytũñepyrũma
+150
+upe pyhare pukukue niko oky ha péicha jey iko'ẽ
+151
+taha'eha'éva peñembojakuaa che rajy rendápe
+152
+aiko porã
+153
+tetã sãmbyhýpe
+154
+mboýpa ovale
+155
+hesúniko tupã ra'y
+156
+taguato ruvicha niko pe hekoverosãvéva guyrakuéra hesegua apytépe
+157
+hetaitereirasa oheka hikuái ha mamove ndojuhúi mitã'i akãhatãme
+158
+ha ndoipotáigui ha'e omenda oipohãnoukava'ekue inocenciape

mozilla-foundation_common_voice_8_0_gn_test_eval_results.txt

@@ -0,0 +1,2 @@
+WER: 0.6905487804878049
+CER: 0.1470525187566988