Hugging Face's logo

5p33ch3xpr
/
XLS-R_Finetuned

Automatic Speech Recognition
Transformers
PyTorch
TensorBoard
wav2vec2
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
XLS-R_Finetuned / README.md
5p33ch3xpr's picture
5p33ch3xpr
update model card README.md
5046dec
preview code
|
raw
history blame contribute delete
6.16 kB
metadata
license: apache-2.0
tags:
  - generated_from_trainer
metrics:
  - wer
model-index:
  - name: XLS-R_Finetuned
    results: []

XLS-R_Finetuned

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2280
  • Wer: 0.1725

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.00024
  • train_batch_size: 1
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 2
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 800
  • num_epochs: 25
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Wer
6.0094 0.32 500 3.5637 1.0
3.3935 0.64 1000 2.6589 1.0
1.5455 0.95 1500 0.7979 0.8225
0.9065 1.27 2000 0.5392 0.6244
0.7891 1.59 2500 0.3554 0.4551
0.7118 1.91 3000 0.3682 0.4608
0.6061 2.23 3500 0.3384 0.4416
0.5536 2.54 4000 0.2987 0.4042
0.547 2.86 4500 0.2892 0.3892
0.4841 3.18 5000 0.2890 0.3690
0.4434 3.5 5500 0.2605 0.3636
0.4542 3.81 6000 0.2932 0.3773
0.4171 4.13 6500 0.2768 0.3550
0.3697 4.45 7000 0.2443 0.3382
0.3776 4.77 7500 0.2572 0.3366
0.3448 5.09 8000 0.2267 0.3006
0.3285 5.4 8500 0.2377 0.3023
0.3165 5.72 9000 0.2344 0.2888
0.3194 6.04 9500 0.2228 0.2699
0.2737 6.36 10000 0.2201 0.2754
0.2986 6.68 10500 0.2413 0.2850
0.2836 6.99 11000 0.2117 0.2629
0.2467 7.31 11500 0.2408 0.2877
0.2577 7.63 12000 0.2134 0.2448
0.2503 7.95 12500 0.2260 0.2600
0.2371 8.26 13000 0.2081 0.2379
0.2303 8.58 13500 0.2322 0.2668
0.213 8.9 14000 0.2339 0.2586
0.2029 9.22 14500 0.2300 0.2704
0.2146 9.54 15000 0.2321 0.2533
0.2044 9.85 15500 0.2393 0.2685
0.2008 10.17 16000 0.2193 0.2467
0.182 10.49 16500 0.2323 0.2611
0.2 10.81 17000 0.2188 0.2537
0.1855 11.13 17500 0.2436 0.2523
0.1745 11.44 18000 0.2351 0.2473
0.1705 11.76 18500 0.2556 0.2663
0.1745 12.08 19000 0.2189 0.2229
0.1641 12.4 19500 0.2192 0.2342
0.1546 12.71 20000 0.2432 0.2228
0.1661 13.03 20500 0.2323 0.2242
0.1436 13.35 21000 0.2554 0.2496
0.1443 13.67 21500 0.2195 0.2026
0.151 13.99 22000 0.2400 0.2201
0.1333 14.3 22500 0.2181 0.2235
0.137 14.62 23000 0.2400 0.2254
0.1303 14.94 23500 0.2265 0.2088
0.1386 15.26 24000 0.2330 0.2152
0.1325 15.58 24500 0.2328 0.2127
0.1227 15.89 25000 0.2375 0.2077
0.1196 16.21 25500 0.2394 0.2144
0.1197 16.53 26000 0.2591 0.2171
0.1122 16.85 26500 0.2383 0.2066
0.1093 17.16 27000 0.2254 0.2042
0.105 17.48 27500 0.2330 0.2008
0.0982 17.8 28000 0.2317 0.1902
0.1072 18.12 28500 0.2332 0.1971
0.1033 18.44 29000 0.2313 0.1923
0.0982 18.75 29500 0.2344 0.1934
0.103 19.07 30000 0.2295 0.1902
0.0945 19.39 30500 0.2352 0.1976
0.0892 19.71 31000 0.2414 0.1920
0.1003 20.03 31500 0.2300 0.1879
0.0861 20.34 32000 0.2215 0.1778
0.0845 20.66 32500 0.2321 0.1866
0.0858 20.98 33000 0.2311 0.1850
0.0785 21.3 33500 0.2341 0.1874
0.0786 21.61 34000 0.2322 0.1916
0.0793 21.93 34500 0.2358 0.1846
0.0772 22.25 35000 0.2234 0.1770
0.0786 22.57 35500 0.2180 0.1758
0.0747 22.89 36000 0.2269 0.1830
0.0734 23.2 36500 0.2320 0.1860
0.067 23.52 37000 0.2324 0.1797
0.0733 23.84 37500 0.2324 0.1772
0.0701 24.16 38000 0.2293 0.1737
0.0691 24.48 38500 0.2303 0.1750
0.0613 24.79 39000 0.2280 0.1725

Framework versions

  • Transformers 4.24.0
  • Pytorch 1.12.1+cu113
  • Datasets 2.6.1
  • Tokenizers 0.13.1