results_mt5_xl-_wiki

This model is a fine-tuned version of google/mt5-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0048
• Rouge1: 0.1023
• Rouge2: 0.0125
• Rougel: 0.1022
• Rougelsum: 0.1019
• Gen Len: 18.9302

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 4e-05
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 250
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
9.7309	0.1081	500	8.7752	0.0	0.0	0.0	0.0	19.0
8.2303	0.2161	1000	7.2210	0.0	0.0	0.0	0.0	19.0
7.2363	0.3242	1500	6.7270	0.0	0.0	0.0	0.0	0.0
7.0589	0.4322	2000	6.3511	0.0	0.0	0.0	0.0	0.0
6.7392	0.5403	2500	6.2383	0.0	0.0	0.0	0.0	0.0
6.716	0.6484	3000	6.2242	0.0	0.0	0.0	0.0	0.0
6.5459	0.7564	3500	6.1235	0.0112	0.0	0.0112	0.0112	19.0
6.3342	0.8645	4000	6.0783	0.0738	0.0	0.0736	0.0732	12.6417
6.2404	0.9726	4500	6.0705	0.0738	0.0	0.0736	0.0732	15.3982
6.1405	1.0806	5000	6.0811	0.0112	0.0	0.0112	0.0112	19.0
6.0387	1.1887	5500	5.8715	0.0112	0.0	0.0112	0.0112	18.951
5.7348	1.2967	6000	5.2644	0.0392	0.0	0.0392	0.0394	0.4314
5.2214	1.4048	6500	4.8743	0.0184	0.0	0.0184	0.0184	9.9584
4.9215	1.5129	7000	4.4677	0.0359	0.0	0.036	0.036	19.0
4.6441	1.6209	7500	4.0154	0.0738	0.0	0.0736	0.0732	19.0
4.2095	1.7290	8000	3.4679	0.0238	0.0	0.0238	0.0238	7.9318
3.6038	1.8370	8500	2.7153	0.0	0.0	0.0	0.0	0.0
2.9711	1.9451	9000	1.9488	0.0	0.0	0.0	0.0	0.0
2.2376	2.0532	9500	1.1301	0.0	0.0	0.0	0.0	0.0
1.4721	2.1612	10000	0.5812	0.0	0.0	0.0	0.0	0.0
1.0658	2.2693	10500	0.3416	0.0746	0.0002	0.0743	0.0741	18.8022
0.6153	2.3774	11000	0.2139	0.0442	0.0	0.0441	0.0441	2.7739
0.4134	2.4854	11500	0.1454	0.0	0.0	0.0	0.0	0.01
0.31	2.5935	12000	0.1086	0.0831	0.002	0.0824	0.0822	18.6766
0.2423	2.7015	12500	0.0821	0.0852	0.0038	0.0848	0.0847	18.7947
0.1862	2.8096	13000	0.0670	0.078	0.001	0.0777	0.0778	18.8196
0.1596	2.9177	13500	0.0546	0.0875	0.0042	0.0872	0.0871	18.8279
0.13	3.0257	14000	0.0586	0.0861	0.0047	0.0858	0.0859	18.857
0.1055	3.1338	14500	0.0393	0.081	0.003	0.0808	0.0808	18.655
0.0896	3.2418	15000	0.0348	0.0832	0.0049	0.0828	0.0827	18.7091
0.0854	3.3499	15500	0.0310	0.0858	0.0062	0.0854	0.0853	18.6268
0.0717	3.4580	16000	0.0284	0.091	0.0084	0.0907	0.0908	18.803
0.065	3.5660	16500	0.0250	0.0887	0.0093	0.0885	0.0885	18.7805
0.0584	3.6741	17000	0.0229	0.089	0.0109	0.0888	0.089	18.5179
0.0511	3.7821	17500	0.0209	0.0874	0.0093	0.0872	0.0874	18.5154
0.0502	3.8902	18000	0.0189	0.091	0.0077	0.0909	0.0906	18.4372
0.0429	3.9983	18500	0.0172	0.0865	0.0075	0.0863	0.0862	18.8645
0.0412	4.1063	19000	0.0160	0.0911	0.008	0.0909	0.0907	18.5395
0.0419	4.2144	19500	0.0148	0.0913	0.0118	0.091	0.0913	18.8736
0.0353	4.3225	20000	0.0137	0.0974	0.0103	0.097	0.097	18.6874
0.0321	4.4305	20500	0.0128	0.0936	0.0128	0.0936	0.0934	18.5578
0.029	4.5386	21000	0.0120	0.0944	0.0128	0.094	0.0939	18.7415
0.0275	4.6466	21500	0.0117	0.0907	0.0134	0.0905	0.0907	18.7889
0.0265	4.7547	22000	0.0108	0.0902	0.008	0.0902	0.0899	18.5669
0.2825	4.8628	22500	1.2607	0.0958	0.0112	0.0957	0.0957	18.749
0.5612	4.9708	23000	0.1068	0.0956	0.0108	0.0955	0.0952	18.3699
0.029	5.0789	23500	0.0090	0.0941	0.0098	0.094	0.0939	18.3973
0.023	5.1869	24000	0.0085	0.0947	0.0099	0.0945	0.0942	18.414
0.0205	5.2950	24500	0.0085	0.1042	0.0105	0.1038	0.1039	18.4996
0.0222	5.4031	25000	0.0081	0.0916	0.0093	0.0916	0.0914	18.6517
0.0188	5.5111	25500	0.0078	0.0964	0.0114	0.0961	0.0961	18.2236
0.0205	5.6192	26000	0.0074	0.1077	0.0137	0.1077	0.1076	18.325
0.018	5.7273	26500	0.0071	0.1001	0.0112	0.1	0.0995	18.6575
0.0173	5.8353	27000	0.0068	0.095	0.0096	0.0949	0.0947	18.5669
0.0162	5.9434	27500	0.0066	0.0946	0.0091	0.0948	0.0944	18.4871
0.0145	6.0514	28000	0.0064	0.098	0.0112	0.0979	0.0979	18.6301
0.0154	6.1595	28500	0.0064	0.0953	0.0101	0.095	0.0952	18.4838
0.0149	6.2676	29000	0.0062	0.1013	0.0137	0.1011	0.1011	18.2577
0.014	6.3756	29500	0.0062	0.0964	0.0141	0.0961	0.0966	18.5195
0.0142	6.4837	30000	0.0060	0.1028	0.0143	0.1022	0.1025	18.5062
0.0138	6.5917	30500	0.0060	0.0998	0.0141	0.0993	0.0994	18.5794
0.0124	6.6998	31000	0.0059	0.0957	0.0113	0.0955	0.0957	18.4938
0.0119	6.8079	31500	0.0058	0.0968	0.0113	0.0963	0.0965	18.6401
0.0132	6.9159	32000	0.0057	0.0949	0.0104	0.0946	0.0947	18.5628
0.0129	7.0240	32500	0.0056	0.0952	0.0146	0.0947	0.0949	18.4406
0.0125	7.1321	33000	0.0055	0.0986	0.0127	0.0983	0.0983	18.5777
0.0107	7.2401	33500	0.0054	0.0985	0.0137	0.0979	0.0982	18.4264
0.0228	7.3482	34000	0.0054	0.0971	0.0113	0.0968	0.0969	18.744
0.011	7.4562	34500	0.0054	0.1089	0.0136	0.1088	0.1086	18.9069
0.0106	7.5643	35000	0.0054	0.1058	0.0133	0.1057	0.1055	18.7149
0.0102	7.6724	35500	0.0053	0.0957	0.0105	0.0954	0.0953	18.6342
0.0108	7.7804	36000	0.0052	0.1028	0.0131	0.1027	0.1024	18.9069
0.0106	7.8885	36500	0.0052	0.1075	0.0153	0.1074	0.1073	18.6841
0.0122	7.9965	37000	0.0051	0.0995	0.0106	0.0995	0.0993	18.7606
0.0097	8.1046	37500	0.0051	0.1128	0.0175	0.1125	0.1125	18.985
0.0098	8.2127	38000	0.0051	0.1006	0.0102	0.1003	0.1003	18.9701
0.0095	8.3207	38500	0.0050	0.1025	0.0105	0.1023	0.1021	18.7897
0.009	8.4288	39000	0.0050	0.1004	0.0088	0.1003	0.1002	18.7697
0.0095	8.5368	39500	0.0050	0.1023	0.0097	0.1023	0.1023	18.8238
0.0095	8.6449	40000	0.0050	0.0979	0.0091	0.0979	0.0977	18.8196
0.0092	8.7530	40500	0.0049	0.1011	0.01	0.1011	0.1009	18.926
0.0091	8.8610	41000	0.0049	0.1016	0.0103	0.1017	0.1015	18.9302
0.0091	8.9691	41500	0.0049	0.1016	0.0111	0.1013	0.1012	18.9302
0.0089	9.0772	42000	0.0049	0.1044	0.0113	0.1041	0.104	18.9302
0.0089	9.1852	42500	0.0049	0.1016	0.0111	0.1013	0.1012	18.9302
0.0089	9.2933	43000	0.0049	0.1031	0.0125	0.103	0.1027	18.9135
0.0088	9.4013	43500	0.0049	0.1009	0.0111	0.1007	0.1004	18.9302
0.0084	9.5094	44000	0.0049	0.1022	0.0114	0.1022	0.1019	18.9302
0.0087	9.6175	44500	0.0048	0.1031	0.0125	0.103	0.1027	18.9302
0.0082	9.7255	45000	0.0049	0.1015	0.0114	0.1014	0.1011	18.9302
0.0084	9.8336	45500	0.0048	0.1023	0.0125	0.1022	0.1019	18.9302
0.0081	9.9416	46000	0.0048	0.1023	0.0125	0.1022	0.1019	18.9302

Framework versions

• Transformers 4.42.0.dev0
• Pytorch 2.3.0+cu121
• Datasets 2.19.2
• Tokenizers 0.19.1