arabert_cross_relevance_task6_fold1

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1940
• Qwk: 0.0307
• Mse: 0.1940

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	0.7363	-0.0058	0.7363
No log	0.25	4	0.1881	0.0012	0.1881
No log	0.375	6	0.1606	0.0267	0.1606
No log	0.5	8	0.4512	0.0043	0.4512
No log	0.625	10	0.4525	0.0060	0.4525
No log	0.75	12	0.2338	0.0094	0.2338
No log	0.875	14	0.1664	0.0094	0.1664
No log	1.0	16	0.1743	0.0185	0.1743
No log	1.125	18	0.2334	0.0273	0.2334
No log	1.25	20	0.2489	0.0319	0.2489
No log	1.375	22	0.1857	0.0335	0.1857
No log	1.5	24	0.1610	0.0301	0.1610
No log	1.625	26	0.1692	0.0355	0.1692
No log	1.75	28	0.1989	0.0300	0.1989
No log	1.875	30	0.2050	0.0300	0.2050
No log	2.0	32	0.1869	0.0319	0.1869
No log	2.125	34	0.2181	0.0319	0.2181
No log	2.25	36	0.2092	0.0319	0.2092
No log	2.375	38	0.1582	0.0355	0.1582
No log	2.5	40	0.1522	0.0425	0.1522
No log	2.625	42	0.1547	0.0342	0.1547
No log	2.75	44	0.1614	0.0273	0.1614
No log	2.875	46	0.1863	0.0273	0.1863
No log	3.0	48	0.2170	0.0273	0.2170
No log	3.125	50	0.2013	0.0254	0.2013
No log	3.25	52	0.1678	0.0254	0.1678
No log	3.375	54	0.1689	0.0254	0.1689
No log	3.5	56	0.1680	0.0254	0.1680
No log	3.625	58	0.1692	0.0273	0.1692
No log	3.75	60	0.1633	0.0307	0.1633
No log	3.875	62	0.1712	0.0307	0.1712
No log	4.0	64	0.1638	0.0324	0.1638
No log	4.125	66	0.1666	0.0410	0.1666
No log	4.25	68	0.1931	0.0316	0.1931
No log	4.375	70	0.1935	0.0332	0.1935
No log	4.5	72	0.1622	0.0407	0.1622
No log	4.625	74	0.1528	0.0502	0.1528
No log	4.75	76	0.1546	0.0427	0.1546
No log	4.875	78	0.1610	0.0373	0.1610
No log	5.0	80	0.1796	0.0324	0.1796
No log	5.125	82	0.1905	0.0287	0.1905
No log	5.25	84	0.1795	0.0355	0.1795
No log	5.375	86	0.1867	0.0287	0.1867
No log	5.5	88	0.2057	0.0372	0.2057
No log	5.625	90	0.2005	0.0352	0.2005
No log	5.75	92	0.1798	0.0304	0.1798
No log	5.875	94	0.1808	0.0287	0.1808
No log	6.0	96	0.1804	0.0307	0.1804
No log	6.125	98	0.1740	0.0307	0.1740
No log	6.25	100	0.1812	0.0307	0.1812
No log	6.375	102	0.1920	0.0307	0.1920
No log	6.5	104	0.1897	0.0287	0.1897
No log	6.625	106	0.1990	0.0287	0.1990
No log	6.75	108	0.2005	0.0287	0.2005
No log	6.875	110	0.2110	0.0251	0.2110
No log	7.0	112	0.2243	0.0251	0.2243
No log	7.125	114	0.2176	0.0270	0.2176
No log	7.25	116	0.2051	0.0307	0.2051
No log	7.375	118	0.1875	0.0359	0.1875
No log	7.5	120	0.1841	0.0359	0.1841
No log	7.625	122	0.1903	0.0307	0.1903
No log	7.75	124	0.2160	0.0290	0.2160
No log	7.875	126	0.2336	0.0290	0.2336
No log	8.0	128	0.2472	0.0290	0.2472
No log	8.125	130	0.2417	0.0290	0.2417
No log	8.25	132	0.2168	0.0290	0.2168
No log	8.375	134	0.1854	0.0342	0.1854
No log	8.5	136	0.1717	0.0377	0.1717
No log	8.625	138	0.1718	0.0377	0.1718
No log	8.75	140	0.1803	0.0342	0.1803
No log	8.875	142	0.1951	0.0307	0.1951
No log	9.0	144	0.2030	0.0307	0.2030
No log	9.125	146	0.2104	0.0270	0.2104
No log	9.25	148	0.2101	0.0270	0.2101
No log	9.375	150	0.2065	0.0287	0.2065
No log	9.5	152	0.2028	0.0307	0.2028
No log	9.625	154	0.1984	0.0307	0.1984
No log	9.75	156	0.1954	0.0307	0.1954
No log	9.875	158	0.1942	0.0307	0.1942
No log	10.0	160	0.1940	0.0307	0.1940

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1