AigizK/mHuBERT-147-bashkort

training

This model is a fine-tuned version of utter-project/mHuBERT-147 on the common_voice_17_0 dataset. It achieves the following results on the evaluation set:

• Loss: 0.1375
• Wer: 0.1202

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

Code: https://huggingface.co/AigizK/mHuBERT-147-bashkort/blob/main/ba-mhubert-147-train.ipynb

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 32
• eval_batch_size: 4
• seed: 42
• optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 60

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
51.2746	0.2393	1000	38.1449	1.0031
31.0695	0.4787	2000	22.2755	1.0
25.9185	0.7180	3000	18.9954	1.0
22.7995	0.9574	4000	16.6842	1.0
18.799	1.1967	5000	13.7933	1.0
14.7246	1.4361	6000	10.6011	1.0
10.0615	1.6754	7000	7.5085	1.0
6.4954	1.9148	8000	5.1960	1.0
4.3991	2.1541	9000	3.9369	1.0
3.5461	2.3935	10000	3.4371	1.0
3.3468	2.6328	11000	3.3105	1.0
3.2927	2.8722	12000	3.2628	1.0
3.1628	3.1115	13000	3.1256	1.0
2.8922	3.3509	14000	2.8131	1.0
2.171	3.5902	15000	1.9567	1.0178
1.5491	3.8296	16000	1.2633	0.7642
1.1192	4.0689	17000	0.8790	0.5990
0.8418	4.3083	18000	0.6252	0.5017
0.6805	4.5476	19000	0.4897	0.4459
0.5703	4.7870	20000	0.4059	0.4047
0.4754	5.0263	21000	0.3564	0.3737
0.4441	5.2657	22000	0.3221	0.3519
0.4655	5.5050	23000	0.2948	0.3308
0.3695	5.7444	24000	0.2821	0.3148
0.3551	5.9837	25000	0.2635	0.3011
0.3253	6.2231	26000	0.2505	0.2891
0.3298	6.4624	27000	0.2368	0.2754
0.3094	6.7018	28000	0.2296	0.2686
0.3055	6.9411	29000	0.2296	0.2620
0.2831	7.1805	30000	0.2127	0.2515
0.2682	7.4198	31000	0.2143	0.2465
0.2635	7.6592	32000	0.2091	0.2420
0.2669	7.8985	33000	0.1994	0.2363
0.2627	8.1379	34000	0.1990	0.2310
0.2889	8.3772	35000	0.1949	0.2259
0.2421	8.6166	36000	0.1903	0.2193
0.2283	8.8559	37000	0.1905	0.2189
0.2355	9.0953	38000	0.1885	0.2152
0.2457	9.3346	39000	0.1833	0.2125
0.2361	9.5740	40000	0.1794	0.2080
0.3127	9.8133	41000	0.1806	0.2067
0.2132	10.0527	42000	0.1806	0.2033
0.21	10.2920	43000	0.1759	0.1990
0.2118	10.5314	44000	0.1798	0.2004
0.1992	10.7707	45000	0.1711	0.1974
0.2101	11.0101	46000	0.1689	0.1949
0.2097	11.2494	47000	0.1710	0.1929
0.2029	11.4888	48000	0.1671	0.1901
0.247	11.7281	49000	0.1674	0.1885
0.1932	11.9674	50000	0.1685	0.1891
0.1813	12.2068	51000	0.1652	0.1840
0.1932	12.4461	52000	0.1636	0.1831
0.1801	12.6855	53000	0.1629	0.1818
0.1758	12.9248	54000	0.1634	0.1799
0.1865	13.1642	55000	0.1630	0.1785
0.1829	13.4035	56000	0.1619	0.1780
0.1831	13.6429	57000	0.1621	0.1777
0.1786	13.8822	58000	0.1590	0.1753
0.177	14.1216	59000	0.1597	0.1746
0.1722	14.3609	60000	0.1563	0.1723
0.1621	14.6003	61000	0.1629	0.1715
0.1672	14.8396	62000	0.1567	0.1714
0.1593	15.0790	63000	0.1556	0.1677
0.1733	15.3183	64000	0.1542	0.1684
0.1621	15.5577	65000	0.1554	0.1669
0.166	15.7970	66000	0.1525	0.1664
0.1638	16.0364	67000	0.1545	0.1647
0.1587	16.2757	68000	0.1558	0.1646
0.1653	16.5151	69000	0.1504	0.1631
0.1553	16.7544	70000	0.1512	0.1637
0.1575	16.9938	71000	0.1502	0.1618
0.2144	17.2331	72000	0.1495	0.1614
0.17	17.4725	73000	0.1497	0.1612
0.1603	17.7118	74000	0.1541	0.1601
0.145	17.9512	75000	0.1505	0.1578
0.1419	18.1905	76000	0.1495	0.1573
0.1424	18.4299	77000	0.1516	0.1582
0.2559	18.6692	78000	0.1500	0.1580
0.1591	18.9086	79000	0.1488	0.1559
0.2104	19.1479	80000	0.1495	0.1567
0.1392	19.3873	81000	0.1483	0.1545
0.1476	19.6266	82000	0.1489	0.1532
0.1348	19.8660	83000	0.1440	0.1526
0.1527	20.1053	84000	0.1475	0.1530
0.1323	20.3447	85000	0.1453	0.1505
0.1431	20.5840	86000	0.1442	0.1506
0.1456	20.8234	87000	0.1432	0.1511
0.1465	21.0627	88000	0.1444	0.1499
0.1353	21.3021	89000	0.1499	0.1499
0.1468	21.5414	90000	0.1444	0.1485
0.1374	21.7808	91000	0.1435	0.1466
0.131	22.0201	92000	0.1462	0.1484
0.1411	22.2595	93000	0.1438	0.1473
0.1362	22.4988	94000	0.1449	0.1476
0.1319	22.7382	95000	0.1411	0.1466
0.1304	22.9775	96000	0.1409	0.1452
0.1376	23.2169	97000	0.1440	0.1464
0.1426	23.4562	98000	0.1424	0.1458
0.1259	23.6955	99000	0.1439	0.1469
0.1338	23.9349	100000	0.1425	0.1437
0.1179	24.1742	101000	0.1429	0.1446
0.2212	24.4136	102000	0.1408	0.1439
0.1248	24.6529	103000	0.1422	0.1439
0.1203	24.8923	104000	0.1429	0.1436
0.1222	25.1316	105000	0.1434	0.1422
0.1638	25.3710	106000	0.1419	0.1419
0.2444	25.6103	107000	0.1386	0.1424
0.1222	25.8497	108000	0.1420	0.1406
0.1582	26.0890	109000	0.1401	0.1404
0.1175	26.3284	110000	0.1444	0.1412
0.1263	26.5677	111000	0.1415	0.1415
0.125	26.8071	112000	0.1376	0.1395
0.1209	27.0464	113000	0.1403	0.1401
0.1244	27.2858	114000	0.1417	0.1402
0.1184	27.5251	115000	0.1409	0.1390
0.1138	27.7645	116000	0.1411	0.1374
0.1157	28.0038	117000	0.1387	0.1381
0.1175	28.2432	118000	0.1422	0.1393
0.1151	28.4825	119000	0.1437	0.1380
0.113	28.7219	120000	0.1418	0.1373
0.1209	28.9612	121000	0.1418	0.1368
0.1237	29.2006	122000	0.1376	0.1353
0.1119	29.4399	123000	0.1409	0.1368
0.1064	29.6793	124000	0.1415	0.1364
0.2035	29.9186	125000	0.1384	0.1348
0.117	30.1580	126000	0.1403	0.1355
0.1155	30.3973	127000	0.1430	0.1358
0.1126	30.6367	128000	0.1392	0.1348
0.1305	30.8760	129000	0.1378	0.1350
0.1057	31.1154	130000	0.1425	0.1340
0.1074	31.3547	131000	0.1419	0.1348
0.1097	31.5941	132000	0.1400	0.1340
0.1128	31.8334	133000	0.1401	0.1337
0.1124	32.0728	134000	0.1384	0.1336
0.142	32.3121	135000	0.1409	0.1346
0.1088	32.5515	136000	0.1402	0.1321
0.109	32.7908	137000	0.1415	0.1330
0.0999	33.0302	138000	0.1408	0.1325
0.1042	33.2695	139000	0.1391	0.1334
0.1411	33.5089	140000	0.1402	0.1324
0.1086	33.7482	141000	0.1383	0.1315
0.1026	33.9876	142000	0.1401	0.1322
0.1035	34.2269	143000	0.1431	0.1312
0.1049	34.4663	144000	0.1409	0.1306
0.111	34.7056	145000	0.1406	0.1312
0.1161	34.9449	146000	0.1417	0.1305
0.1001	35.1843	147000	0.1392	0.1306
0.1019	35.4236	148000	0.1380	0.1302
0.1046	35.6630	149000	0.1389	0.1306
0.1057	35.9023	150000	0.1386	0.1295
0.0911	36.1417	151000	0.1403	0.1294
0.1028	36.3810	152000	0.1407	0.1292
0.1118	36.6204	153000	0.1410	0.1297
0.1144	36.8597	154000	0.1367	0.1286
0.1347	37.0991	155000	0.1386	0.1290
0.1073	37.3384	156000	0.1385	0.1281
0.1032	37.5778	157000	0.1405	0.1286
0.0986	37.8171	158000	0.1376	0.1279
0.1225	38.0565	159000	0.1395	0.1282
0.0986	38.2958	160000	0.1399	0.1288
0.1008	38.5352	161000	0.1380	0.1281
0.1073	38.7745	162000	0.1369	0.1276
0.0999	39.0139	163000	0.1395	0.1271
0.1044	39.2532	164000	0.1375	0.1267
0.1038	39.4926	165000	0.1377	0.1267
0.1019	39.7319	166000	0.1413	0.1271
0.0986	39.9713	167000	0.1402	0.1267
0.1269	40.2106	168000	0.1395	0.1260
0.1122	40.4500	169000	0.1404	0.1267
0.1014	40.6893	170000	0.1392	0.1265
0.1032	40.9287	171000	0.1404	0.1264
0.1002	41.1680	172000	0.1380	0.1257
0.1063	41.4074	173000	0.1390	0.1256
0.0974	41.6467	174000	0.1396	0.1257
0.132	41.8861	175000	0.1360	0.1252
0.0956	42.1254	176000	0.1365	0.1250
0.1059	42.3648	177000	0.1379	0.1257
0.0932	42.6041	178000	0.1396	0.1258
0.0984	42.8435	179000	0.1368	0.1250
0.0922	43.0828	180000	0.1403	0.1255
0.0894	43.3222	181000	0.1384	0.1247
0.0969	43.5615	182000	0.1394	0.1262
0.1031	43.8009	183000	0.1342	0.1252
0.1028	44.0402	184000	0.1382	0.1252
0.1079	44.2796	185000	0.1375	0.1257
0.097	44.5189	186000	0.1389	0.1248
0.0914	44.7583	187000	0.1380	0.1254
0.0984	44.9976	188000	0.1366	0.1242
0.0886	45.2370	189000	0.1369	0.1246
0.0926	45.4763	190000	0.1369	0.1234
0.0966	45.7157	191000	0.1384	0.1235
0.0931	45.9550	192000	0.1351	0.1236
0.1066	46.1944	193000	0.1363	0.1235
0.095	46.4337	194000	0.1350	0.1231
0.0961	46.6730	195000	0.1361	0.1239
0.1052	46.9124	196000	0.1356	0.1227
0.0976	47.1517	197000	0.1374	0.1240
0.0962	47.3911	198000	0.1361	0.1232
0.1067	47.6304	199000	0.1359	0.1229
0.0943	47.8698	200000	0.1331	0.1223
0.0905	48.1091	201000	0.1365	0.1234
0.1319	48.3485	202000	0.1371	0.1238
0.1026	48.5878	203000	0.1377	0.1237
0.098	48.8272	204000	0.1391	0.1230
0.0982	49.0665	205000	0.1375	0.1226
0.0957	49.3059	206000	0.1380	0.1232
0.0945	49.5452	207000	0.1373	0.1226
0.0952	49.7846	208000	0.1365	0.1223
0.1038	50.0239	209000	0.1367	0.1226
0.0921	50.2633	210000	0.1357	0.1216
0.0892	50.5026	211000	0.1356	0.1222
0.0892	50.7420	212000	0.1374	0.1223
0.2185	50.9813	213000	0.1371	0.1226
0.0938	51.2207	214000	0.1385	0.1223
0.0925	51.4600	215000	0.1375	0.1226
0.0939	51.6994	216000	0.1369	0.1221
0.0956	51.9387	217000	0.1370	0.1220
0.0916	52.1781	218000	0.1377	0.1217
0.0954	52.4174	219000	0.1377	0.1222
0.0926	52.6568	220000	0.1379	0.1217
0.0887	52.8961	221000	0.1374	0.1213
0.0928	53.1355	222000	0.1374	0.1215
0.0809	53.3748	223000	0.1376	0.1213
0.0957	53.6142	224000	0.1376	0.1205
0.0829	53.8535	225000	0.1376	0.1211
0.0885	54.0929	226000	0.1375	0.1210
0.0962	54.3322	227000	0.1377	0.1206
0.092	54.5716	228000	0.1362	0.1204
0.0829	54.8109	229000	0.1382	0.1209
0.0891	55.0503	230000	0.1379	0.1213
0.0868	55.2896	231000	0.1383	0.1215
0.0825	55.5290	232000	0.1374	0.1207
0.085	55.7683	233000	0.1385	0.1213
0.1107	56.0077	234000	0.1372	0.1206
0.0848	56.2470	235000	0.1382	0.1208
0.0842	56.4864	236000	0.1372	0.1204
0.1249	56.7257	237000	0.1364	0.1208
0.0873	56.9651	238000	0.1375	0.1204
0.0854	57.2044	239000	0.1377	0.1203
0.0892	57.4438	240000	0.1373	0.1201
0.0841	57.6831	241000	0.1375	0.1204
0.093	57.9225	242000	0.1375	0.1204
0.0875	58.1618	243000	0.1368	0.1199
0.0909	58.4011	244000	0.1374	0.1202
0.0918	58.6405	245000	0.1375	0.1205
0.0992	58.8798	246000	0.1369	0.1202
0.0875	59.1192	247000	0.1372	0.1202
0.0915	59.3585	248000	0.1376	0.1202
0.088	59.5979	249000	0.1372	0.1202
0.16	59.8372	250000	0.1375	0.1202

Framework versions

• Transformers 4.42.3
• Pytorch 2.3.1+cu121
• Datasets 2.20.0
• Tokenizers 0.19.1