arabert_cross_relevance_task3_fold4

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.2244
• Qwk: 0.3147
• Mse: 0.2244

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse
No log	0.1176	2	0.6247	0.1100	0.6247
No log	0.2353	4	0.4274	0.2657	0.4274
No log	0.3529	6	0.3933	0.3269	0.3933
No log	0.4706	8	0.3251	0.1665	0.3251
No log	0.5882	10	0.4511	0.2506	0.4511
No log	0.7059	12	0.3380	0.2405	0.3380
No log	0.8235	14	0.2594	0.1665	0.2594
No log	0.9412	16	0.2948	0.2149	0.2948
No log	1.0588	18	0.2980	0.2995	0.2980
No log	1.1765	20	0.2541	0.2638	0.2541
No log	1.2941	22	0.2285	0.2330	0.2285
No log	1.4118	24	0.2279	0.2837	0.2279
No log	1.5294	26	0.2347	0.2760	0.2347
No log	1.6471	28	0.2414	0.3095	0.2414
No log	1.7647	30	0.2534	0.3281	0.2534
No log	1.8824	32	0.2613	0.3439	0.2613
No log	2.0	34	0.2476	0.3483	0.2476
No log	2.1176	36	0.2444	0.3210	0.2444
No log	2.2353	38	0.2368	0.3126	0.2368
No log	2.3529	40	0.2271	0.3358	0.2271
No log	2.4706	42	0.2280	0.3354	0.2280
No log	2.5882	44	0.2317	0.3468	0.2317
No log	2.7059	46	0.2288	0.3795	0.2288
No log	2.8235	48	0.2284	0.3808	0.2284
No log	2.9412	50	0.2248	0.4119	0.2248
No log	3.0588	52	0.2179	0.3948	0.2179
No log	3.1765	54	0.2135	0.3797	0.2135
No log	3.2941	56	0.2038	0.3300	0.2038
No log	3.4118	58	0.2043	0.3232	0.2043
No log	3.5294	60	0.2143	0.3534	0.2143
No log	3.6471	62	0.2325	0.4158	0.2325
No log	3.7647	64	0.2488	0.4475	0.2488
No log	3.8824	66	0.2377	0.3842	0.2377
No log	4.0	68	0.2342	0.3300	0.2342
No log	4.1176	70	0.2380	0.4475	0.2380
No log	4.2353	72	0.2243	0.4095	0.2243
No log	4.3529	74	0.2117	0.3895	0.2117
No log	4.4706	76	0.2105	0.3541	0.2105
No log	4.5882	78	0.2109	0.3824	0.2109
No log	4.7059	80	0.2150	0.4058	0.2150
No log	4.8235	82	0.2189	0.4186	0.2189
No log	4.9412	84	0.2207	0.3858	0.2207
No log	5.0588	86	0.2206	0.3152	0.2206
No log	5.1765	88	0.2173	0.2918	0.2173
No log	5.2941	90	0.2159	0.3281	0.2159
No log	5.4118	92	0.2217	0.3375	0.2217
No log	5.5294	94	0.2240	0.4196	0.2240
No log	5.6471	96	0.2310	0.4755	0.2310
No log	5.7647	98	0.2348	0.4823	0.2348
No log	5.8824	100	0.2267	0.3877	0.2267
No log	6.0	102	0.2189	0.3233	0.2189
No log	6.1176	104	0.2198	0.3013	0.2198
No log	6.2353	106	0.2188	0.3233	0.2188
No log	6.3529	108	0.2193	0.3440	0.2193
No log	6.4706	110	0.2212	0.3392	0.2212
No log	6.5882	112	0.2240	0.3533	0.2240
No log	6.7059	114	0.2234	0.4012	0.2234
No log	6.8235	116	0.2253	0.3980	0.2253
No log	6.9412	118	0.2273	0.3906	0.2273
No log	7.0588	120	0.2269	0.4035	0.2269
No log	7.1765	122	0.2251	0.3784	0.2251
No log	7.2941	124	0.2253	0.4107	0.2253
No log	7.4118	126	0.2255	0.3891	0.2255
No log	7.5294	128	0.2218	0.3462	0.2218
No log	7.6471	130	0.2198	0.3255	0.2198
No log	7.7647	132	0.2206	0.3328	0.2206
No log	7.8824	134	0.2204	0.3286	0.2204
No log	8.0	136	0.2202	0.3416	0.2202
No log	8.1176	138	0.2237	0.3458	0.2237
No log	8.2353	140	0.2257	0.3529	0.2257
No log	8.3529	142	0.2246	0.3433	0.2246
No log	8.4706	144	0.2235	0.3464	0.2235
No log	8.5882	146	0.2231	0.3396	0.2231
No log	8.7059	148	0.2225	0.3328	0.2225
No log	8.8235	150	0.2224	0.3119	0.2224
No log	8.9412	152	0.2226	0.3159	0.2226
No log	9.0588	154	0.2231	0.3205	0.2231
No log	9.1765	156	0.2239	0.3275	0.2239
No log	9.2941	158	0.2243	0.3275	0.2243
No log	9.4118	160	0.2236	0.3147	0.2236
No log	9.5294	162	0.2234	0.3080	0.2234
No log	9.6471	164	0.2238	0.3080	0.2238
No log	9.7647	166	0.2243	0.3080	0.2243
No log	9.8824	168	0.2244	0.3147	0.2244
No log	10.0	170	0.2244	0.3147	0.2244

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0
• Datasets 2.21.0
• Tokenizers 0.19.1