asr-africa/mms-1B_all_NCHLT_ZULU_20hr_v1

facebook mms-1b-all zulu - Beijuka Bruno

This model is a fine-tuned version of facebook/mms-1b-all on the NCHLT_speech_corpus/Zulu dataset. It achieves the following results on the evaluation set:

• Loss: 0.2982
• Model Preparation Time: 0.0133
• Wer: 0.4764
• Cer: 0.0937

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 4
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Model Preparation Time	Wer	Cer
1.8637	0.9989	568	0.1607	0.0133	0.2395	0.0374
0.1869	1.9989	1136	0.1470	0.0133	0.2161	0.0338
0.1694	2.9989	1704	0.1361	0.0133	0.1968	0.0311
0.153	3.9989	2272	0.1263	0.0133	0.1840	0.0294
0.1413	4.9989	2840	0.1232	0.0133	0.1727	0.0278
0.1359	5.9989	3408	0.1170	0.0133	0.1675	0.0268
0.1271	6.9989	3976	0.1132	0.0133	0.1623	0.0264
0.1202	7.9989	4544	0.1102	0.0133	0.1570	0.0254
0.1161	8.9989	5112	0.1105	0.0133	0.1549	0.0251
0.111	9.9989	5680	0.1036	0.0133	0.1501	0.0244
0.1075	10.9989	6248	0.1022	0.0133	0.1429	0.0235
0.1036	11.9989	6816	0.1016	0.0133	0.1414	0.0233
0.0992	12.9989	7384	0.1009	0.0133	0.1387	0.0227
0.0951	13.9989	7952	0.0986	0.0133	0.1370	0.0224
0.0931	14.9989	8520	0.0964	0.0133	0.1331	0.0221
0.0901	15.9989	9088	0.0958	0.0133	0.1296	0.0215
0.0887	16.9989	9656	0.0942	0.0133	0.1304	0.0214
0.0845	17.9989	10224	0.0935	0.0133	0.1247	0.0208
0.082	18.9989	10792	0.0938	0.0133	0.1234	0.0206
0.079	19.9989	11360	0.0922	0.0133	0.1229	0.0206
0.0773	20.9989	11928	0.0900	0.0133	0.1191	0.0199
0.0749	21.9989	12496	0.0907	0.0133	0.1191	0.0199
0.0732	22.9989	13064	0.0911	0.0133	0.1188	0.0198
0.0714	23.9989	13632	0.0883	0.0133	0.1157	0.0194
0.0687	24.9989	14200	0.0909	0.0133	0.1180	0.0197
0.0676	25.9989	14768	0.0889	0.0133	0.1072	0.0182
0.0659	26.9989	15336	0.0875	0.0133	0.1109	0.0185
0.0632	27.9989	15904	0.0876	0.0133	0.1071	0.0183
0.0626	28.9989	16472	0.0894	0.0133	0.1099	0.0184
0.0606	29.9989	17040	0.0845	0.0133	0.1036	0.0176
0.0583	30.9989	17608	0.0901	0.0133	0.1073	0.0181
0.057	31.9989	18176	0.0879	0.0133	0.1021	0.0174
0.0562	32.9989	18744	0.0878	0.0133	0.1042	0.0179
0.0556	33.9989	19312	0.0878	0.0133	0.1023	0.0175
0.0543	34.9989	19880	0.0825	0.0133	0.0983	0.0167
0.0531	35.9989	20448	0.0846	0.0133	0.0982	0.0167
0.0513	36.9989	21016	0.0858	0.0133	0.1010	0.0171
0.0499	37.9989	21584	0.0878	0.0133	0.1002	0.0168
0.0492	38.9989	22152	0.0872	0.0133	0.0988	0.0166
0.0474	39.9989	22720	0.0863	0.0133	0.0964	0.0166
0.0467	40.9989	23288	0.0877	0.0133	0.0986	0.0167
0.0455	41.9989	23856	0.0897	0.0133	0.0969	0.0167
0.0454	42.9989	24424	0.0892	0.0133	0.0960	0.0164
0.0437	43.9989	24992	0.0897	0.0133	0.0979	0.0168
0.0423	44.9989	25560	0.0888	0.0133	0.0924	0.0159
0.0415	45.9989	26128	0.0899	0.0133	0.0919	0.0160
0.0412	46.9989	26696	0.0906	0.0133	0.0934	0.0161
0.0397	47.9989	27264	0.0854	0.0133	0.0889	0.0153
0.0388	48.9989	27832	0.0904	0.0133	0.0936	0.0160
0.0386	49.9989	28400	0.0903	0.0133	0.0892	0.0156
0.0381	50.9989	28968	0.0879	0.0133	0.0921	0.0160
0.0378	51.9989	29536	0.0876	0.0133	0.0893	0.0155
0.0378	52.9989	30104	0.0887	0.0133	0.0889	0.0155
0.0353	53.9989	30672	0.0902	0.0133	0.0887	0.0155
0.0351	54.9989	31240	0.0904	0.0133	0.0911	0.0158
0.0332	55.9989	31808	0.0881	0.0133	0.0854	0.0151
0.0349	56.9989	32376	0.0892	0.0133	0.0903	0.0155
0.0339	57.9989	32944	0.0919	0.0133	0.0876	0.0154
0.032	58.9989	33512	0.0892	0.0133	0.0862	0.0148
0.0316	59.9989	34080	0.0881	0.0133	0.0831	0.0149
0.0304	60.9989	34648	0.0892	0.0133	0.0830	0.0147
0.0314	61.9989	35216	0.0880	0.0133	0.0856	0.0151
0.0317	62.9989	35784	0.0891	0.0133	0.0870	0.0149
0.0304	63.9989	36352	0.0883	0.0133	0.0825	0.0148
0.0298	64.9989	36920	0.0923	0.0133	0.0839	0.0148
0.0303	65.9989	37488	0.0909	0.0133	0.0841	0.0147
0.0297	66.9989	38056	0.0906	0.0133	0.0845	0.0148
0.0293	67.9989	38624	0.0921	0.0133	0.0843	0.0147
0.0279	68.9989	39192	0.0934	0.0133	0.0823	0.0144
0.0268	69.9989	39760	0.0935	0.0133	0.0833	0.0144

Framework versions

• Transformers 4.47.0
• Pytorch 2.1.0+cu118
• Datasets 3.2.0
• Tokenizers 0.21.0