Data_extraction

This model is a fine-tuned version of SCUT-DLVCLab/lilt-roberta-en-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.4277
• Fsc Code: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}
• Ame: {'precision': 0.391304347826087, 'recall': 0.42857142857142855, 'f1': 0.4090909090909091, 'number': 42}
• Ccount No: {'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}
• Ign: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}
• Mount: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}
• Ther: {'precision': 0.5287356321839081, 'recall': 0.5348837209302325, 'f1': 0.5317919075144507, 'number': 86}
• Overall Precision: 0.6045
• Overall Recall: 0.6149
• Overall F1: 0.6097
• Overall Accuracy: 0.9431

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• training_steps: 2500
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Fsc Code	Ame	Ccount No	Ign	Mount	Ther	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.1559	20.0	200	0.2349	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.3448275862068966, 'recall': 0.47619047619047616, 'f1': 0.39999999999999997, 'number': 42}	{'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.4329896907216495, 'recall': 0.4883720930232558, 'f1': 0.45901639344262296, 'number': 86}	0.5155	0.5747	0.5435	0.9376
0.0138	40.0	400	0.2607	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.3148148148148148, 'recall': 0.40476190476190477, 'f1': 0.3541666666666667, 'number': 42}	{'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}	{'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.5, 'recall': 0.5465116279069767, 'f1': 0.5222222222222221, 'number': 86}	0.5550	0.6092	0.5808	0.9372
0.0031	60.0	600	0.3808	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.2786885245901639, 'recall': 0.40476190476190477, 'f1': 0.33009708737864074, 'number': 42}	{'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 6}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.4077669902912621, 'recall': 0.4883720930232558, 'f1': 0.44444444444444436, 'number': 86}	0.4928	0.5920	0.5379	0.9372
0.0031	80.0	800	0.3239	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.2807017543859649, 'recall': 0.38095238095238093, 'f1': 0.32323232323232326, 'number': 42}	{'precision': 1.0, 'recall': 0.8333333333333334, 'f1': 0.9090909090909091, 'number': 6}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.45, 'recall': 0.5232558139534884, 'f1': 0.48387096774193555, 'number': 86}	0.5248	0.6092	0.5638	0.9532
0.0007	100.0	1000	0.3718	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.375, 'recall': 0.42857142857142855, 'f1': 0.39999999999999997, 'number': 42}	{'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 6}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.4891304347826087, 'recall': 0.5232558139534884, 'f1': 0.5056179775280899, 'number': 86}	0.5722	0.6149	0.5928	0.9467
0.0002	120.0	1200	0.4208	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.34, 'recall': 0.40476190476190477, 'f1': 0.36956521739130443, 'number': 42}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 6}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.4731182795698925, 'recall': 0.5116279069767442, 'f1': 0.4916201117318436, 'number': 86}	0.5474	0.5977	0.5714	0.9408
0.0003	140.0	1400	0.4155	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.3333333333333333, 'recall': 0.40476190476190477, 'f1': 0.3655913978494623, 'number': 42}	{'precision': 0.8, 'recall': 0.6666666666666666, 'f1': 0.7272727272727272, 'number': 6}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.46808510638297873, 'recall': 0.5116279069767442, 'f1': 0.4888888888888889, 'number': 86}	0.5497	0.6034	0.5753	0.9397
0.0004	160.0	1600	0.4277	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.391304347826087, 'recall': 0.42857142857142855, 'f1': 0.4090909090909091, 'number': 42}	{'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.5287356321839081, 'recall': 0.5348837209302325, 'f1': 0.5317919075144507, 'number': 86}	0.6045	0.6149	0.6097	0.9431
0.0001	180.0	1800	0.3870	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.27586206896551724, 'recall': 0.38095238095238093, 'f1': 0.32, 'number': 42}	{'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.45, 'recall': 0.5232558139534884, 'f1': 0.48387096774193555, 'number': 86}	0.5149	0.5977	0.5532	0.9476
0.0001	200.0	2000	0.3956	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.3617021276595745, 'recall': 0.40476190476190477, 'f1': 0.3820224719101123, 'number': 42}	{'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.5056179775280899, 'recall': 0.5232558139534884, 'f1': 0.5142857142857142, 'number': 86}	0.5833	0.6034	0.5932	0.9526
0.0001	220.0	2200	0.4029	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.3469387755102041, 'recall': 0.40476190476190477, 'f1': 0.3736263736263736, 'number': 42}	{'precision': 0.6, 'recall': 0.5, 'f1': 0.5454545454545454, 'number': 6}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.5, 'recall': 0.5348837209302325, 'f1': 0.5168539325842696, 'number': 86}	0.5699	0.6092	0.5889	0.9508
0.0	240.0	2400	0.4031	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}	{'precision': 0.34, 'recall': 0.40476190476190477, 'f1': 0.36956521739130443, 'number': 42}	{'precision': 0.75, 'recall': 0.5, 'f1': 0.6, 'number': 6}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 5}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 13}	{'precision': 0.4891304347826087, 'recall': 0.5232558139534884, 'f1': 0.5056179775280899, 'number': 86}	0.5645	0.6034	0.5833	0.9499

Framework versions

• Transformers 4.41.2
• Pytorch 2.3.0+cu121
• Datasets 2.20.0
• Tokenizers 0.19.1