menu-lilt-model-XLM-v3
This model is a fine-tuned version of SCUT-DLVCLab/lilt-infoxlm-base on the None dataset. It achieves the following results on the evaluation set:
- Loss: 0.0006
- Created: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}
- Created Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}
- Day Menu Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}
- Diet: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}
- Meal: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824}
- Meal Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}
- Meal Note Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}
- Menu Name: {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}
- School Type: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}
- Tag Value: {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76}
- Validity: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}
- Validity Detail: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}
- Weekday: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}
- Week Count: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}
- Overall Precision: 0.9993
- Overall Recall: 0.9997
- Overall F1: 0.9995
- Overall Accuracy: 0.9999
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- training_steps: 2500
- mixed_precision_training: Native AMP
Training results
| Training Loss | Epoch | Step | Validation Loss | Created | Created Label | Day Menu Label | Diet | Meal | Meal Label | Meal Note Label | Menu Name | School Type | Tag Value | Validity | Validity Detail | Weekday | Week Count | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0.8513 | 4.5455 | 200 | 0.0523 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 0.7222222222222222, 'recall': 0.7222222222222222, 'f1': 0.7222222222222222, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 0.8738738738738738, 'recall': 0.9603960396039604, 'f1': 0.9150943396226415, 'number': 101} | {'precision': 0.9637207340223581, 'recall': 0.947139303482587, 'f1': 0.9553580763199163, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 0.9858490566037735, 'recall': 1.0, 'f1': 0.9928741092636578, 'number': 209} | {'precision': 0.5588235294117647, 'recall': 0.8636363636363636, 'f1': 0.6785714285714287, 'number': 22} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9358974358974359, 'recall': 0.9605263157894737, 'f1': 0.948051948051948, 'number': 76} | {'precision': 0.7692307692307693, 'recall': 0.9259259259259259, 'f1': 0.8403361344537816, 'number': 54} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 0.9704641350210971, 'recall': 1.0, 'f1': 0.9850107066381156, 'number': 230} | 0.9604 | 0.9533 | 0.9568 | 0.9884 |
| 0.0262 | 9.0909 | 400 | 0.0083 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9972972972972973, 'recall': 0.9944029850746269, 'f1': 0.9958480381980485, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.6666666666666666, 'recall': 0.9090909090909091, 'f1': 0.7692307692307692, 'number': 22} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 0.9473684210526315, 'recall': 1.0, 'f1': 0.972972972972973, 'number': 54} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9938 | 0.9940 | 0.9939 | 0.9980 |
| 0.0067 | 13.6364 | 600 | 0.0034 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9977164210089268, 'recall': 0.996268656716418, 'f1': 0.9969920132766311, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9978 | 0.9968 | 0.9973 | 0.9993 |
| 0.0046 | 18.1818 | 800 | 0.0023 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 0.9803921568627451, 'recall': 0.9900990099009901, 'f1': 0.9852216748768472, 'number': 101} | {'precision': 0.9987557030277893, 'recall': 0.9983416252072969, 'f1': 0.9985486211901307, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9978 | 0.9980 | 0.9979 | 0.9994 |
| 0.002 | 22.7273 | 1000 | 0.0026 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9983395599833956, 'recall': 0.9970978441127695, 'f1': 0.9977183157021364, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9983 | 0.9975 | 0.9979 | 0.9995 |
| 0.0015 | 27.2727 | 1200 | 0.0017 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9991701244813278, 'recall': 0.9983416252072969, 'f1': 0.9987557030277893, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9988 | 0.9983 | 0.9986 | 0.9995 |
| 0.0012 | 31.8182 | 1400 | 0.0026 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.8695652173913043, 'recall': 0.9090909090909091, 'f1': 0.888888888888889, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9992 | 0.9992 | 0.9992 | 0.9995 |
| 0.0011 | 36.3636 | 1600 | 0.0012 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9993777224642191, 'recall': 0.9987562189054726, 'f1': 0.9990668740279938, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9992 | 0.9988 | 0.999 | 0.9997 |
| 0.0008 | 40.9091 | 1800 | 0.0008 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9993 | 0.9993 | 0.9997 |
| 0.0006 | 45.4545 | 2000 | 0.0009 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9993 | 0.9993 | 0.9997 |
| 0.0005 | 50.0 | 2200 | 0.0006 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9995 | 0.9997 | 0.9996 | 0.9998 |
| 0.0005 | 54.5455 | 2400 | 0.0006 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9997 | 0.9995 | 0.9999 |
Framework versions
- Transformers 4.40.0
- Pytorch 2.2.1+cu121
- Datasets 2.19.0
- Tokenizers 0.19.1
- Downloads last month
- 2
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Model tree for karpov3/menu-lilt-model-XLM-v3
Base model
SCUT-DLVCLab/lilt-infoxlm-base