update eval results

README.md

@@ -9,6 +9,7 @@ datasets:
 - mozilla-foundation/common_voice_11_0
 metrics:
 - wer
+- cer
 model-index:
 - name: Whisper Large Portuguese
   results:
@@ -28,6 +29,22 @@ model-index:
     - name: CER
       type: cer
       value: 1.6052355927195898
+  - task:
+      name: Automatic Speech Recognition
+      type: automatic-speech-recognition
+    dataset:
+      name: google/fleurs pt_br
+      type: google/fleurs
+      config: pt_br
+      split: test
+      args: pt_br
+    metrics:
+    - name: WER
+      type: wer
+      value: 8.56762285333714
+    - name: CER
+      type: cer
+      value: 5.462965196208485
 ---
 
 # Whisper Large Portuguese
@@ -59,6 +76,8 @@ transcription = transcriber("path/to/my_audio.wav")
 
 ## Evaluation
 
+We perform evaluation of the model using the test split of two datasets, the [Common Voice 11](https://huggingface.co/datasets/mozilla-foundation/common_voice_11_0) (same dataset used for the fine-tuning) and the [Fleurs](https://huggingface.co/datasets/google/fleurs) (dataset not seen during the fine-tuning). As Whisper can transcribe casing and punctuation, I performed the model evaluation in 2 different scenarios, one using the raw text and the other using the normalized text (lowercase + removal of punctuations). Additionally, for the Fleurs dataset, I evaluated the model in a scenario where there are no transcriptions of numerical values since the way these values are described in this dataset is different from how they are described in the dataset used in fine-tuning (Common Voice), so it is expected that this difference in the way of describing numerical values will affect the performance of the model for this type of transcription in Fleurs.
+
 ### Common Voice 11
 
 | | CER | WER |
@@ -74,7 +93,9 @@ transcription = transcriber("path/to/my_audio.wav")
 | --- | --- | --- |
 | [jonatasgrosman/whisper-large-pt-cv11](https://huggingface.co/jonatasgrosman/whisper-large-pt-cv11) | 4.88 | 12.08 |
 | [jonatasgrosman/whisper-large-pt-cv11](https://huggingface.co/jonatasgrosman/whisper-large-pt-cv11) + text normalization | 5.46 | 8.57 |
-| [jonatasgrosman/whisper-large-pt-cv11](https://huggingface.co/jonatasgrosman/whisper-large-pt-cv11) + text normalization + removal of samples with numbers | 3.36 | 6.05 |
+| [jonatasgrosman/whisper-large-pt-cv11](https://huggingface.co/jonatasgrosman/whisper-large-pt-cv11) + keep only non-numeric samples | 2.35 | 9.00 |
+| [jonatasgrosman/whisper-large-pt-cv11](https://huggingface.co/jonatasgrosman/whisper-large-pt-cv11) + text normalization + keep only non-numeric samples | 3.36 | 6.05 |
 | [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) | 3.52 | 10.55 |
 | [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) + text normalization | 4.19 | 7.04 |
-| [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) + text normalization + removal of samples with numbers | 3.56 | 6.15 |
+| [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) + keep only non-numeric samples | 2.61 | 9.29 |
+| [openai/whisper-large-v2](https://huggingface.co/openai/whisper-large-v2) + text normalization + keep only non-numeric samples | 3.56 | 6.15 |

evaluation_cv11_test.json

@@ -2,6 +2,8 @@
     "raw": {
         "cer": 0.0251556372013005,
         "wer": 0.09564805574818598,
+        "non_numeric_samples_cer": 0.0251556372013005,
+        "non_numeric_samples_wer": 0.09564805574818598,
         "references": [
             "Xeque-mate",
             "É necessário fornecer, quando formulado, uma avaliação.",
@@ -17396,6 +17398,8 @@
     "normalized": {
         "cer": 0.016052355927195897,
         "wer": 0.048166641448529786,
+        "non_numeric_samples_cer": 0.016052355927195897,
+        "non_numeric_samples_wer": 0.048166641448529786,
         "references": [
             "xeque mate",
             "é necessário fornecer quando formulado uma avaliação ",

evaluation_fleurs_test.json

@@ -2,6 +2,8 @@
     "raw": {
         "cer": 0.048782744819821554,
         "wer": 0.12084038353073887,
+        "non_numeric_samples_cer": 0.023466183693758427,
+        "non_numeric_samples_wer": 0.09003507074616036,
         "references": [
             "Em muitas outras cidades da Itália e no resto do mundo, especialmente na Polônia, arranjos similares foram feitos, permitindo o acompanhamento por um grande número de pessoas.",
             "O escritório de gerência de emergência das Marianas do Norte disseram que não havia danos reportados no país.",
@@ -1848,6 +1850,8 @@
     "normalized": {
         "cer": 0.05462965196208485,
         "wer": 0.0856762285333714,
+        "non_numeric_samples_cer": 0.03360758611072375,
+        "non_numeric_samples_wer": 0.06055188032659872,
         "references": [
             "em muitas outras cidades da itália e no resto do mundo especialmente na polônia arranjos similares foram feitos permitindo o acompanhamento por um grande número de pessoas ",
             "o escritório de gerência de emergência das marianas do norte disseram que não havia danos reportados no país ",

evaluation_whisper-large-v2_cv11_test.json

@@ -2,6 +2,8 @@
     "raw": {
         "cer": 0.04322850602866349,
         "wer": 0.13918441215770513,
+        "non_numeric_samples_cer": 0.04322850602866349,
+        "non_numeric_samples_wer": 0.13918441215770513,
         "references": [
             "Xeque-mate",
             "É necessário fornecer, quando formulado, uma avaliação.",
@@ -17396,6 +17398,8 @@
     "normalized": {
         "cer": 0.028362444828419743,
         "wer": 0.07020729308518686,
+        "non_numeric_samples_cer": 0.028362444828419743,
+        "non_numeric_samples_wer": 0.07020729308518686,
         "references": [
             "xeque mate",
             "é necessário fornecer quando formulado uma avaliação ",

evaluation_whisper-large-v2_fleurs_test.json

@@ -2,6 +2,8 @@
     "raw": {
         "cer": 0.03522598456164162,
         "wer": 0.10547095318668923,
+        "non_numeric_samples_cer": 0.026064787928302146,
+        "non_numeric_samples_wer": 0.0929374773249486,
         "references": [
             "Em muitas outras cidades da Itália e no resto do mundo, especialmente na Polônia, arranjos similares foram feitos, permitindo o acompanhamento por um grande número de pessoas.",
             "O escritório de gerência de emergência das Marianas do Norte disseram que não havia danos reportados no país.",
@@ -1848,6 +1850,8 @@
     "normalized": {
         "cer": 0.04187067364511227,
         "wer": 0.07035821321535607,
+        "non_numeric_samples_cer": 0.035649540809211705,
+        "non_numeric_samples_wer": 0.061505453245127836,
         "references": [
             "em muitas outras cidades da itália e no resto do mundo especialmente na polônia arranjos similares foram feitos permitindo o acompanhamento por um grande número de pessoas ",
             "o escritório de gerência de emergência das marianas do norte disseram que não havia danos reportados no país ",