COPAS-mms1ball-Nov30

This model is a fine-tuned version of facebook/mms-1b-all on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.3535
• Wer: 0.2197

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 3
• eval_batch_size: 4
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 100
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
12.7018	0.4405	100	0.9506	0.5515
0.7255	0.8811	200	0.6694	0.4617
0.6192	1.3216	300	0.6035	0.4044
0.4728	1.7621	400	0.5322	0.3760
0.4832	2.2026	500	0.5080	0.3714
0.4645	2.6432	600	0.4722	0.3694
0.3892	3.0837	700	0.4721	0.3765
0.3833	3.5242	800	0.4661	0.3587
0.407	3.9648	900	0.4236	0.3506
0.3494	4.4053	1000	0.4192	0.3349
0.3385	4.8458	1100	0.4248	0.3409
0.3301	5.2863	1200	0.3981	0.3161
0.3327	5.7269	1300	0.3816	0.3044
0.3148	6.1674	1400	0.3641	0.3095
0.297	6.6079	1500	0.4005	0.3156
0.2834	7.0485	1600	0.3849	0.3009
0.2719	7.4890	1700	0.3817	0.3146
0.2738	7.9295	1800	0.3654	0.2938
0.2305	8.3700	1900	0.3882	0.3186
0.318	8.8106	2000	0.4165	0.3338
0.2715	9.2511	2100	0.3609	0.2922
0.2486	9.6916	2200	0.3728	0.3130
0.2501	10.1322	2300	0.3586	0.3004
0.2418	10.5727	2400	0.3571	0.2861
0.2269	11.0132	2500	0.3488	0.2851
0.2424	11.4537	2600	0.3913	0.3156
0.2404	11.8943	2700	0.3889	0.3024
0.242	12.3348	2800	0.3380	0.2608
0.2482	12.7753	2900	0.3514	0.2760
0.2069	13.2159	3000	0.3766	0.3044
0.2363	13.6564	3100	0.3332	0.2740
0.2739	14.0969	3200	0.3534	0.3283
0.2021	14.5374	3300	0.3326	0.2821
0.1918	14.9780	3400	0.3486	0.2770
0.2063	15.4185	3500	0.3400	0.2887
0.1962	15.8590	3600	0.3719	0.2770
0.2001	16.2996	3700	0.3269	0.2775
0.1863	16.7401	3800	0.3512	0.2953
0.2337	17.1806	3900	0.3517	0.2816
0.1977	17.6211	4000	0.3371	0.2760
0.203	18.0617	4100	0.3366	0.2740
0.1587	18.5022	4200	0.3561	0.2725
0.1903	18.9427	4300	0.3211	0.2547
0.1927	19.3833	4400	0.3424	0.2562
0.1863	19.8238	4500	0.3275	0.2588
0.1491	20.2643	4600	0.3314	0.2679
0.1834	20.7048	4700	0.3358	0.2699
0.1675	21.1454	4800	0.3430	0.2872
0.1611	21.5859	4900	0.3465	0.2577
0.1783	22.0264	5000	0.3262	0.2522
0.1577	22.4670	5100	0.3211	0.2481
0.1493	22.9075	5200	0.3257	0.2577
0.1716	23.3480	5300	0.3127	0.2481
0.139	23.7885	5400	0.3178	0.2547
0.1328	24.2291	5500	0.3390	0.2648
0.1497	24.6696	5600	0.3630	0.2430
0.1599	25.1101	5700	0.3570	0.2603
0.1544	25.5507	5800	0.3517	0.2577
0.1893	25.9912	5900	0.3302	0.2476
0.145	26.4317	6000	0.3331	0.2653
0.1644	26.8722	6100	0.3590	0.2867
0.1672	27.3128	6200	0.3450	0.2572
0.1411	27.7533	6300	0.3646	0.2501
0.1232	28.1938	6400	0.3509	0.2501
0.1568	28.6344	6500	0.3495	0.2623
0.139	29.0749	6600	0.3294	0.2659
0.1358	29.5154	6700	0.3464	0.2821
0.1876	29.9559	6800	0.3594	0.2801
0.148	30.3965	6900	0.3453	0.2506
0.175	30.8370	7000	0.3691	0.2760
0.1616	31.2775	7100	0.3731	0.2618
0.1716	31.7181	7200	0.3288	0.2582
0.1442	32.1586	7300	0.3335	0.2598
0.1393	32.5991	7400	0.3530	0.2588
0.1426	33.0396	7500	0.3593	0.2831
0.1366	33.4802	7600	0.3390	0.2364
0.1369	33.9207	7700	0.3416	0.2486
0.1427	34.3612	7800	0.3597	0.2532
0.1344	34.8018	7900	0.3487	0.2516
0.1131	35.2423	8000	0.3521	0.2511
0.1067	35.6828	8100	0.3612	0.2390
0.1239	36.1233	8200	0.3475	0.2420
0.1174	36.5639	8300	0.3547	0.2577
0.1403	37.0044	8400	0.3696	0.2562
0.1112	37.4449	8500	0.3748	0.2588
0.1119	37.8855	8600	0.3538	0.2486
0.1302	38.3260	8700	0.3423	0.2430
0.1026	38.7665	8800	0.3594	0.2476
0.0965	39.2070	8900	0.3641	0.2577
0.0934	39.6476	9000	0.3727	0.2613
0.1015	40.0881	9100	0.3614	0.2491
0.1011	40.5286	9200	0.3681	0.2506
0.0802	40.9692	9300	0.3567	0.2633
0.0958	41.4097	9400	0.3251	0.2354
0.0896	41.8502	9500	0.3260	0.2461
0.0785	42.2907	9600	0.3354	0.2385
0.0924	42.7313	9700	0.3601	0.2481
0.0899	43.1718	9800	0.3447	0.2369
0.0827	43.6123	9900	0.3268	0.2354
0.0874	44.0529	10000	0.3279	0.2405
0.0827	44.4934	10100	0.3247	0.2390
0.0793	44.9339	10200	0.3491	0.2390
0.0723	45.3744	10300	0.3375	0.2293
0.0845	45.8150	10400	0.3383	0.2369
0.0769	46.2555	10500	0.3630	0.2501
0.073	46.6960	10600	0.3489	0.2369
0.0814	47.1366	10700	0.3473	0.2339
0.0828	47.5771	10800	0.3543	0.2390
0.0676	48.0176	10900	0.3475	0.2314
0.0726	48.4581	11000	0.3541	0.2283
0.0824	48.8987	11100	0.3564	0.2248
0.0818	49.3392	11200	0.3792	0.2415
0.0694	49.7797	11300	0.3596	0.2298
0.0664	50.2203	11400	0.3526	0.2471
0.0726	50.6608	11500	0.3453	0.2283
0.0765	51.1013	11600	0.3456	0.2232
0.0575	51.5419	11700	0.3671	0.2334
0.0661	51.9824	11800	0.3663	0.2278
0.0764	52.4229	11900	0.3663	0.2314
0.063	52.8634	12000	0.3665	0.2232
0.0728	53.3040	12100	0.3448	0.2268
0.0641	53.7445	12200	0.3552	0.2268
0.0631	54.1850	12300	0.3641	0.2308
0.0684	54.6256	12400	0.3606	0.2390
0.0656	55.0661	12500	0.3531	0.2227
0.0545	55.5066	12600	0.3515	0.2263
0.0664	55.9471	12700	0.3712	0.2207
0.0537	56.3877	12800	0.3540	0.2177
0.0595	56.8282	12900	0.3596	0.2324
0.0628	57.2687	13000	0.3641	0.2314
0.058	57.7093	13100	0.3648	0.2253
0.0623	58.1498	13200	0.3549	0.2329
0.0548	58.5903	13300	0.3714	0.2237
0.0554	59.0308	13400	0.3706	0.2258
0.0593	59.4714	13500	0.3911	0.2293
0.0581	59.9119	13600	0.3687	0.2334
0.0574	60.3524	13700	0.3878	0.2314
0.066	60.7930	13800	0.3573	0.2273
0.0493	61.2335	13900	0.3759	0.2253
0.0529	61.6740	14000	0.3656	0.2217
0.0543	62.1145	14100	0.3499	0.2207
0.0517	62.5551	14200	0.3670	0.2232
0.0512	62.9956	14300	0.3588	0.2319
0.0534	63.4361	14400	0.3492	0.2253
0.05	63.8767	14500	0.3543	0.2187
0.0601	64.3172	14600	0.3642	0.2319
0.0469	64.7577	14700	0.3733	0.2283
0.0505	65.1982	14800	0.3677	0.2344
0.0468	65.6388	14900	0.3648	0.2319
0.0593	66.0793	15000	0.3767	0.2334
0.0403	66.5198	15100	0.3548	0.2227
0.0499	66.9604	15200	0.3680	0.2227
0.0501	67.4009	15300	0.3588	0.2202
0.0482	67.8414	15400	0.3558	0.2222
0.0457	68.2819	15500	0.3700	0.2237
0.0696	68.7225	15600	0.3655	0.2354
0.0516	69.1630	15700	0.3608	0.2131
0.0486	69.6035	15800	0.3568	0.2146
0.0486	70.0441	15900	0.3515	0.2161
0.0481	70.4846	16000	0.3562	0.2156
0.0357	70.9251	16100	0.3610	0.2278
0.0467	71.3656	16200	0.3738	0.2308
0.0481	71.8062	16300	0.3790	0.2339
0.051	72.2467	16400	0.3575	0.2253
0.0422	72.6872	16500	0.3592	0.2248
0.0451	73.1278	16600	0.3645	0.2263
0.0433	73.5683	16700	0.3537	0.2146
0.0389	74.0088	16800	0.3615	0.2131
0.0426	74.4493	16900	0.3662	0.2106
0.0449	74.8899	17000	0.3673	0.2192
0.0553	75.3304	17100	0.3585	0.2116
0.0369	75.7709	17200	0.3593	0.2065
0.0342	76.2115	17300	0.3608	0.2222
0.0408	76.6520	17400	0.3557	0.2131
0.0368	77.0925	17500	0.3469	0.2171
0.0379	77.5330	17600	0.3418	0.2141
0.0436	77.9736	17700	0.3432	0.2126
0.0372	78.4141	17800	0.3548	0.2222
0.0385	78.8546	17900	0.3501	0.2146
0.0467	79.2952	18000	0.3348	0.2161
0.0352	79.7357	18100	0.3465	0.2141
0.0341	80.1762	18200	0.3472	0.2156
0.0391	80.6167	18300	0.3505	0.2182
0.0369	81.0573	18400	0.3495	0.2171
0.0386	81.4978	18500	0.3588	0.2166
0.0362	81.9383	18600	0.3534	0.2197
0.0412	82.3789	18700	0.3603	0.2171
0.0394	82.8194	18800	0.3546	0.2182
0.0334	83.2599	18900	0.3537	0.2151
0.039	83.7004	19000	0.3549	0.2207
0.0301	84.1410	19100	0.3549	0.2141
0.0389	84.5815	19200	0.3490	0.2177
0.0361	85.0220	19300	0.3455	0.2126
0.0329	85.4626	19400	0.3587	0.2121
0.0363	85.9031	19500	0.3489	0.2156
0.0388	86.3436	19600	0.3535	0.2197
0.0342	86.7841	19700	0.3529	0.2121
0.029	87.2247	19800	0.3519	0.2136
0.0354	87.6652	19900	0.3417	0.2111
0.0336	88.1057	20000	0.3444	0.2207
0.0317	88.5463	20100	0.3452	0.2182
0.0293	88.9868	20200	0.3520	0.2237
0.0365	89.4273	20300	0.3514	0.2248
0.0249	89.8678	20400	0.3521	0.2258
0.0318	90.3084	20500	0.3547	0.2243
0.0358	90.7489	20600	0.3473	0.2212
0.0275	91.1894	20700	0.3521	0.2212
0.0305	91.6300	20800	0.3535	0.2227
0.0413	92.0705	20900	0.3601	0.2248
0.036	92.5110	21000	0.3580	0.2253
0.0241	92.9515	21100	0.3582	0.2187
0.0349	93.3921	21200	0.3563	0.2207
0.0289	93.8326	21300	0.3524	0.2136
0.0237	94.2731	21400	0.3591	0.2212
0.0369	94.7137	21500	0.3513	0.2197
0.0309	95.1542	21600	0.3541	0.2192
0.0307	95.5947	21700	0.3528	0.2243
0.029	96.0352	21800	0.3515	0.2187
0.0292	96.4758	21900	0.3505	0.2171
0.0298	96.9163	22000	0.3519	0.2192
0.0299	97.3568	22100	0.3549	0.2171
0.0284	97.7974	22200	0.3524	0.2161
0.0268	98.2379	22300	0.3524	0.2156
0.0325	98.6784	22400	0.3536	0.2197
0.0295	99.1189	22500	0.3534	0.2202
0.0233	99.5595	22600	0.3532	0.2192
0.0269	100.0	22700	0.3535	0.2197

Framework versions

• Transformers 4.43.4
• Pytorch 2.4.1
• Datasets 3.0.0
• Tokenizers 0.19.1