asr-africa/mms-1B_all_NCHLT_ZULU_5hr_v1

facebook mms-1b-all zulu - Beijuka Bruno

This model is a fine-tuned version of facebook/mms-1b-all on the NCHLT_speech_corpus/Zulu dataset. It achieves the following results on the evaluation set:

• Loss: 0.2668
• Model Preparation Time: 0.0161
• Wer: 0.3832
• Cer: 0.0671

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 4
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Model Preparation Time	Wer	Cer
75.5144	1.0	139	0.6716	0.0161	0.6021	0.1091
2.2356	2.0	278	0.1570	0.0161	0.2587	0.0378
1.6751	3.0	417	0.1414	0.0161	0.2355	0.0342
1.5484	4.0	556	0.1314	0.0161	0.2148	0.0308
1.4406	5.0	695	0.1275	0.0161	0.2100	0.0301
1.3547	6.0	834	0.1247	0.0161	0.1967	0.0288
1.3095	7.0	973	0.1191	0.0161	0.1909	0.0277
1.2359	8.0	1112	0.1176	0.0161	0.1865	0.0271
1.1879	9.0	1251	0.1173	0.0161	0.1818	0.0269
1.1513	10.0	1390	0.1181	0.0161	0.1818	0.0267
1.1037	11.0	1529	0.1145	0.0161	0.1797	0.0258
1.0629	12.0	1668	0.1090	0.0161	0.1726	0.0253
1.0302	13.0	1807	0.1087	0.0161	0.1705	0.0249
0.9804	14.0	1946	0.1059	0.0161	0.1654	0.0243
0.9649	15.0	2085	0.1098	0.0161	0.1644	0.0242
0.9074	16.0	2224	0.1052	0.0161	0.1624	0.0239
0.8947	17.0	2363	0.1045	0.0161	0.1579	0.0236
0.8442	18.0	2502	0.1063	0.0161	0.1572	0.0233
0.8151	19.0	2641	0.1036	0.0161	0.1566	0.0230
0.809	20.0	2780	0.1046	0.0161	0.1583	0.0234
0.8049	21.0	2919	0.1055	0.0161	0.1596	0.0229
0.7888	22.0	3058	0.1037	0.0161	0.1521	0.0221
0.7426	23.0	3197	0.1052	0.0161	0.1521	0.0223
0.7328	24.0	3336	0.1033	0.0161	0.1477	0.0221
0.7215	25.0	3475	0.1046	0.0161	0.1521	0.0224
0.6755	26.0	3614	0.1053	0.0161	0.1515	0.0225
0.6844	27.0	3753	0.1016	0.0161	0.1464	0.0217
0.6419	28.0	3892	0.1042	0.0161	0.1453	0.0214
0.6459	29.0	4031	0.1029	0.0161	0.1436	0.0209
0.6528	30.0	4170	0.1020	0.0161	0.1423	0.0214
0.6177	31.0	4309	0.1037	0.0161	0.1430	0.0213
0.5899	32.0	4448	0.1042	0.0161	0.1487	0.0225
0.6216	33.0	4587	0.1064	0.0161	0.1416	0.0212
0.5864	34.0	4726	0.1071	0.0161	0.1443	0.0217
0.5797	35.0	4865	0.1032	0.0161	0.1467	0.0215
0.5562	36.0	5004	0.1059	0.0161	0.1433	0.0213
0.5575	37.0	5143	0.1039	0.0161	0.1440	0.0214
0.5236	38.0	5282	0.1036	0.0161	0.1382	0.0207
0.5128	39.0	5421	0.1021	0.0161	0.1385	0.0203
0.4987	40.0	5560	0.1032	0.0161	0.1430	0.0208
0.5254	41.0	5699	0.1056	0.0161	0.1355	0.0204
0.5086	42.0	5838	0.1038	0.0161	0.1406	0.0206
0.4772	43.0	5977	0.1075	0.0161	0.1402	0.0205
0.4541	44.0	6116	0.1050	0.0161	0.1355	0.0200
0.4791	45.0	6255	0.1066	0.0161	0.1324	0.0198
0.4764	46.0	6394	0.1038	0.0161	0.1358	0.0198
0.4556	47.0	6533	0.1043	0.0161	0.1334	0.0197
0.4485	48.0	6672	0.1041	0.0161	0.1321	0.0195
0.44	49.0	6811	0.1071	0.0161	0.1385	0.0204
0.4265	50.0	6950	0.1086	0.0161	0.1361	0.0201
0.4388	51.0	7089	0.1066	0.0161	0.1304	0.0195
0.4326	52.0	7228	0.1087	0.0161	0.1331	0.0201
0.3916	53.0	7367	0.1091	0.0161	0.1368	0.0203
0.396	54.0	7506	0.1125	0.0161	0.1324	0.0198
0.4223	55.0	7645	0.1104	0.0161	0.1310	0.0195
0.3937	56.0	7784	0.1093	0.0161	0.1293	0.0193
0.4038	57.0	7923	0.1145	0.0161	0.1317	0.0197
0.402	58.0	8062	0.1112	0.0161	0.1331	0.0199
0.3912	59.0	8201	0.1109	0.0161	0.1270	0.0190
0.3888	60.0	8340	0.1103	0.0161	0.1249	0.0188
0.3797	61.0	8479	0.1074	0.0161	0.1276	0.0191
0.3682	62.0	8618	0.1111	0.0161	0.1293	0.0194
0.3678	63.0	8757	0.1117	0.0161	0.1304	0.0191
0.3611	64.0	8896	0.1136	0.0161	0.1253	0.0191
0.3406	65.0	9035	0.1114	0.0161	0.1232	0.0186
0.328	66.0	9174	0.1101	0.0161	0.1246	0.0187
0.3482	67.0	9313	0.1103	0.0161	0.1205	0.0182
0.344	68.0	9452	0.1130	0.0161	0.1215	0.0183
0.3465	69.0	9591	0.1115	0.0161	0.1290	0.0191
0.3411	70.0	9730	0.1124	0.0161	0.1249	0.0186
0.3182	71.0	9869	0.1142	0.0161	0.1225	0.0182
0.3303	72.0	10008	0.1116	0.0161	0.1232	0.0183
0.3632	73.0	10147	0.1099	0.0161	0.1229	0.0184
0.3183	74.0	10286	0.1128	0.0161	0.1266	0.0190
0.3215	75.0	10425	0.1119	0.0161	0.1229	0.0184
0.3019	76.0	10564	0.1132	0.0161	0.1253	0.0184
0.3275	77.0	10703	0.1103	0.0161	0.1212	0.0182

Framework versions

• Transformers 4.47.1
• Pytorch 2.1.0+cu118
• Datasets 3.2.0
• Tokenizers 0.21.0