arabert_cross_relevance_task3_fold1

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1458
• Qwk: 0.0595
• Mse: 0.1458

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.125	2	0.7079	-0.0000	0.7079
No log	0.25	4	0.1912	0.0157	0.1912
No log	0.375	6	0.1659	0.0284	0.1659
No log	0.5	8	0.3128	0.0094	0.3128
No log	0.625	10	0.2898	0.0076	0.2898
No log	0.75	12	0.2065	0.0185	0.2065
No log	0.875	14	0.1447	0.0270	0.1447
No log	1.0	16	0.1501	0.0387	0.1501
No log	1.125	18	0.2147	0.0278	0.2147
No log	1.25	20	0.2330	0.0260	0.2330
No log	1.375	22	0.1773	0.0402	0.1773
No log	1.5	24	0.1419	0.0853	0.1419
No log	1.625	26	0.1384	0.0553	0.1384
No log	1.75	28	0.1481	0.0342	0.1481
No log	1.875	30	0.1586	0.0376	0.1586
No log	2.0	32	0.1665	0.0463	0.1665
No log	2.125	34	0.1964	0.0423	0.1964
No log	2.25	36	0.1779	0.0511	0.1779
No log	2.375	38	0.1542	0.1019	0.1542
No log	2.5	40	0.1505	0.1356	0.1505
No log	2.625	42	0.1422	0.1332	0.1422
No log	2.75	44	0.1427	0.0769	0.1427
No log	2.875	46	0.1755	0.0359	0.1755
No log	3.0	48	0.2548	0.0300	0.2548
No log	3.125	50	0.2939	0.0263	0.2939
No log	3.25	52	0.2512	0.0263	0.2512
No log	3.375	54	0.1646	0.0268	0.1646
No log	3.5	56	0.1283	0.1045	0.1283
No log	3.625	58	0.1365	0.1428	0.1365
No log	3.75	60	0.1354	0.1127	0.1354
No log	3.875	62	0.1424	0.0619	0.1424
No log	4.0	64	0.2058	0.0376	0.2058
No log	4.125	66	0.2354	0.0359	0.2354
No log	4.25	68	0.1903	0.0376	0.1903
No log	4.375	70	0.1417	0.0497	0.1417
No log	4.5	72	0.1346	0.0775	0.1346
No log	4.625	74	0.1423	0.0729	0.1423
No log	4.75	76	0.1585	0.0451	0.1585
No log	4.875	78	0.1582	0.0399	0.1582
No log	5.0	80	0.1374	0.0729	0.1374
No log	5.125	82	0.1284	0.1045	0.1284
No log	5.25	84	0.1284	0.1110	0.1284
No log	5.375	86	0.1307	0.0769	0.1307
No log	5.5	88	0.1473	0.0351	0.1473
No log	5.625	90	0.1726	0.0389	0.1726
No log	5.75	92	0.1734	0.0441	0.1734
No log	5.875	94	0.1544	0.0547	0.1544
No log	6.0	96	0.1361	0.1029	0.1361
No log	6.125	98	0.1362	0.1379	0.1362
No log	6.25	100	0.1358	0.1551	0.1358
No log	6.375	102	0.1338	0.1029	0.1338
No log	6.5	104	0.1417	0.0744	0.1417
No log	6.625	106	0.1467	0.0647	0.1467
No log	6.75	108	0.1456	0.0627	0.1456
No log	6.875	110	0.1429	0.0609	0.1429
No log	7.0	112	0.1442	0.0609	0.1442
No log	7.125	114	0.1423	0.0669	0.1423
No log	7.25	116	0.1407	0.0554	0.1407
No log	7.375	118	0.1417	0.0675	0.1417
No log	7.5	120	0.1453	0.0634	0.1453
No log	7.625	122	0.1508	0.0661	0.1508
No log	7.75	124	0.1573	0.0603	0.1573
No log	7.875	126	0.1579	0.0547	0.1579
No log	8.0	128	0.1512	0.0591	0.1512
No log	8.125	130	0.1432	0.0733	0.1432
No log	8.25	132	0.1387	0.0861	0.1387
No log	8.375	134	0.1376	0.0883	0.1376
No log	8.5	136	0.1388	0.0738	0.1388
No log	8.625	138	0.1432	0.0811	0.1432
No log	8.75	140	0.1486	0.0669	0.1486
No log	8.875	142	0.1523	0.0591	0.1523
No log	9.0	144	0.1538	0.0610	0.1538
No log	9.125	146	0.1533	0.0534	0.1533
No log	9.25	148	0.1515	0.0592	0.1515
No log	9.375	150	0.1492	0.0574	0.1492
No log	9.5	152	0.1465	0.0534	0.1465
No log	9.625	154	0.1454	0.0595	0.1454
No log	9.75	156	0.1453	0.0595	0.1453
No log	9.875	158	0.1457	0.0595	0.1457
No log	10.0	160	0.1458	0.0595	0.1458

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1