Hugging Face's logo

imvladikon
/
t5-english-ner

Token Classification
Transformers
PyTorch
t5
Generated from Trainer
custom_code
text-generation-inference
Inference Endpoints
Model card Files Community
1
t5-english-ner / trainer_state.json
imvladikon's picture
imvladikon
init
f6b8a39
raw
history blame contribute delete
184 kB
{
"best_metric": 0.19558680057525635,
"best_model_checkpoint": "./ner-news-t5-large/checkpoint-2124",
"epoch": 3.0,
"global_step": 2124,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.71,
"learning_rate": 3.8229755178907726e-05,
"loss": 0.8868,
"step": 500
},
{
"epoch": 1.0,
"eval_COMMERCIAL_ITEM_f1": 0.0,
"eval_COMMERCIAL_ITEM_number": 1,
"eval_COMMERCIAL_ITEM_precision": 0.0,
"eval_COMMERCIAL_ITEM_recall": 0.0,
"eval_DATE_f1": 0.8666666666666666,
"eval_DATE_number": 14,
"eval_DATE_precision": 0.8125,
"eval_DATE_recall": 0.9285714285714286,
"eval_LOCATION_f1": 0.5357142857142857,
"eval_LOCATION_number": 20,
"eval_LOCATION_precision": 0.4166666666666667,
"eval_LOCATION_recall": 0.75,
"eval_ORGANIZATION_f1": 0.8322981366459627,
"eval_ORGANIZATION_number": 80,
"eval_ORGANIZATION_precision": 0.8271604938271605,
"eval_ORGANIZATION_recall": 0.8375,
"eval_OTHER_f1": 0.0909090909090909,
"eval_OTHER_number": 21,
"eval_OTHER_precision": 1.0,
"eval_OTHER_recall": 0.047619047619047616,
"eval_PERSON_f1": 0.8852459016393444,
"eval_PERSON_number": 29,
"eval_PERSON_precision": 0.84375,
"eval_PERSON_recall": 0.9310344827586207,
"eval_QUANTITY_f1": 0.689655172413793,
"eval_QUANTITY_number": 14,
"eval_QUANTITY_precision": 0.6666666666666666,
"eval_QUANTITY_recall": 0.7142857142857143,
"eval_TITLE_f1": 0.0,
"eval_TITLE_number": 7,
"eval_TITLE_precision": 0.0,
"eval_TITLE_recall": 0.0,
"eval_loss": 0.2725043296813965,
"eval_overall_accuracy": 0.9446081319976429,
"eval_overall_f1": 0.7247956403269755,
"eval_overall_precision": 0.7348066298342542,
"eval_overall_recall": 0.7150537634408602,
"eval_runtime": 14.2635,
"eval_samples_per_second": 2.454,
"eval_steps_per_second": 1.262,
"eval_true_labels": [
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-TITLE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"I-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O"
],
[
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"B-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"O",
"B-PERSON",
"I-PERSON",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"O",
"B-OTHER",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON"
],
[
"B-TITLE",
"I-TITLE",
"I-TITLE",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-COMMERCIAL_ITEM",
"I-COMMERCIAL_ITEM",
"I-COMMERCIAL_ITEM",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"O"
],
[
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER"
],
[
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O"
],
[
"O",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-TITLE",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O"
]
],
"eval_true_predictions": [
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"I-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O"
],
[
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"B-DATE",
"B-DATE",
"I-DATE",
"O",
"O",
"B-PERSON",
"O",
"I-ORGANIZATION",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"O",
"B-PERSON",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"B-LOCATION",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-ORGANIZATION",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON"
],
[
"B-PERSON",
"B-PERSON",
"B-PERSON",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"I-ORGANIZATION",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O"
],
[
"O",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"O"
],
[
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
]
],
"step": 708
},
{
"epoch": 1.41,
"learning_rate": 2.6459510357815442e-05,
"loss": 0.2984,
"step": 1000
},
{
"epoch": 2.0,
"eval_COMMERCIAL_ITEM_f1": 0.0,
"eval_COMMERCIAL_ITEM_number": 1,
"eval_COMMERCIAL_ITEM_precision": 0.0,
"eval_COMMERCIAL_ITEM_recall": 0.0,
"eval_DATE_f1": 0.896551724137931,
"eval_DATE_number": 14,
"eval_DATE_precision": 0.8666666666666667,
"eval_DATE_recall": 0.9285714285714286,
"eval_LOCATION_f1": 0.6153846153846154,
"eval_LOCATION_number": 20,
"eval_LOCATION_precision": 0.5,
"eval_LOCATION_recall": 0.8,
"eval_ORGANIZATION_f1": 0.8375,
"eval_ORGANIZATION_number": 80,
"eval_ORGANIZATION_precision": 0.8375,
"eval_ORGANIZATION_recall": 0.8375,
"eval_OTHER_f1": 0.23529411764705882,
"eval_OTHER_number": 21,
"eval_OTHER_precision": 0.3076923076923077,
"eval_OTHER_recall": 0.19047619047619047,
"eval_PERSON_f1": 0.8709677419354839,
"eval_PERSON_number": 29,
"eval_PERSON_precision": 0.8181818181818182,
"eval_PERSON_recall": 0.9310344827586207,
"eval_QUANTITY_f1": 0.7586206896551724,
"eval_QUANTITY_number": 14,
"eval_QUANTITY_precision": 0.7333333333333333,
"eval_QUANTITY_recall": 0.7857142857142857,
"eval_TITLE_f1": 0.0,
"eval_TITLE_number": 7,
"eval_TITLE_precision": 0.0,
"eval_TITLE_recall": 0.0,
"eval_loss": 0.21207833290100098,
"eval_overall_accuracy": 0.9481437831467295,
"eval_overall_f1": 0.7244094488188977,
"eval_overall_precision": 0.7076923076923077,
"eval_overall_recall": 0.7419354838709677,
"eval_runtime": 14.226,
"eval_samples_per_second": 2.46,
"eval_steps_per_second": 1.265,
"eval_true_labels": [
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-TITLE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"I-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O"
],
[
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"B-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"O",
"B-PERSON",
"I-PERSON",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"O",
"B-OTHER",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON"
],
[
"B-TITLE",
"I-TITLE",
"I-TITLE",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-COMMERCIAL_ITEM",
"I-COMMERCIAL_ITEM",
"I-COMMERCIAL_ITEM",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"O"
],
[
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER"
],
[
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O"
],
[
"O",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-TITLE",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O"
]
],
"eval_true_predictions": [
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"I-OTHER",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"I-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O"
],
[
"O",
"O",
"B-LOCATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-OTHER",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"B-PERSON",
"I-TITLE",
"I-ORGANIZATION",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-TITLE",
"I-TITLE",
"I-TITLE",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"O",
"B-PERSON",
"I-TITLE",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"B-OTHER",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-OTHER",
"I-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"I-OTHER",
"O"
],
[
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O"
],
[
"O",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"O"
],
[
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"O",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-TITLE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
]
],
"step": 1416
},
{
"epoch": 2.12,
"learning_rate": 1.4689265536723165e-05,
"loss": 0.2252,
"step": 1500
},
{
"epoch": 2.82,
"learning_rate": 2.919020715630885e-06,
"loss": 0.1729,
"step": 2000
},
{
"epoch": 3.0,
"eval_COMMERCIAL_ITEM_f1": 0.0,
"eval_COMMERCIAL_ITEM_number": 1,
"eval_COMMERCIAL_ITEM_precision": 0.0,
"eval_COMMERCIAL_ITEM_recall": 0.0,
"eval_DATE_f1": 0.8666666666666666,
"eval_DATE_number": 14,
"eval_DATE_precision": 0.8125,
"eval_DATE_recall": 0.9285714285714286,
"eval_LOCATION_f1": 0.7317073170731706,
"eval_LOCATION_number": 20,
"eval_LOCATION_precision": 0.7142857142857143,
"eval_LOCATION_recall": 0.75,
"eval_ORGANIZATION_f1": 0.8848484848484848,
"eval_ORGANIZATION_number": 80,
"eval_ORGANIZATION_precision": 0.8588235294117647,
"eval_ORGANIZATION_recall": 0.9125,
"eval_OTHER_f1": 0.35,
"eval_OTHER_number": 21,
"eval_OTHER_precision": 0.3684210526315789,
"eval_OTHER_recall": 0.3333333333333333,
"eval_PERSON_f1": 0.8709677419354839,
"eval_PERSON_number": 29,
"eval_PERSON_precision": 0.8181818181818182,
"eval_PERSON_recall": 0.9310344827586207,
"eval_QUANTITY_f1": 0.8275862068965518,
"eval_QUANTITY_number": 14,
"eval_QUANTITY_precision": 0.8,
"eval_QUANTITY_recall": 0.8571428571428571,
"eval_TITLE_f1": 0.0,
"eval_TITLE_number": 7,
"eval_TITLE_precision": 0.0,
"eval_TITLE_recall": 0.0,
"eval_loss": 0.19558680057525635,
"eval_overall_accuracy": 0.9534472598703595,
"eval_overall_f1": 0.7696335078534032,
"eval_overall_precision": 0.75,
"eval_overall_recall": 0.7903225806451613,
"eval_runtime": 14.2841,
"eval_samples_per_second": 2.45,
"eval_steps_per_second": 1.26,
"eval_true_labels": [
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-TITLE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"I-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O"
],
[
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"B-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"O",
"B-PERSON",
"I-PERSON",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"O",
"B-OTHER",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON"
],
[
"B-TITLE",
"I-TITLE",
"I-TITLE",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-COMMERCIAL_ITEM",
"I-COMMERCIAL_ITEM",
"I-COMMERCIAL_ITEM",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"O"
],
[
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER"
],
[
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O"
],
[
"O",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-TITLE",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"I-OTHER",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O"
]
],
"eval_true_predictions": [
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"I-OTHER",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"I-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O"
],
[
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-OTHER",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"B-PERSON",
"I-TITLE",
"I-ORGANIZATION",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-PERSON",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-TITLE",
"I-TITLE",
"I-TITLE",
"I-TITLE",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O"
],
[
"B-PERSON",
"I-PERSON",
"O",
"B-PERSON",
"I-TITLE",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"O",
"B-OTHER",
"O",
"O",
"B-PERSON",
"O"
],
[
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"I-LOCATION",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"I-LOCATION",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON"
],
[
"B-PERSON",
"I-PERSON",
"I-PERSON",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-OTHER",
"I-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-LOCATION",
"I-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"I-OTHER",
"O"
],
[
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O"
],
[
"O",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-OTHER",
"I-OTHER",
"O"
],
[
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-PERSON",
"O",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-LOCATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O",
"B-ORGANIZATION",
"O"
],
[
"B-DATE",
"I-DATE",
"I-DATE",
"I-DATE",
"B-DATE",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-DATE",
"I-DATE",
"I-DATE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-PERSON",
"I-PERSON",
"O",
"O",
"O",
"B-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-PERSON",
"I-TITLE",
"I-TITLE",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"B-OTHER",
"I-OTHER",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"I-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-TITLE",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"I-TITLE",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"I-OTHER",
"O",
"O",
"B-LOCATION",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"O",
"O"
],
[
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"B-OTHER",
"O",
"O",
"B-QUANTITY",
"O",
"O",
"O",
"O",
"B-QUANTITY",
"I-QUANTITY",
"I-QUANTITY",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
],
[
"O",
"B-ORGANIZATION",
"O",
"B-PERSON",
"I-PERSON",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"B-ORGANIZATION",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O",
"O"
]
],
"step": 2124
},
{
"epoch": 3.0,
"step": 2124,
"total_flos": 742530008198736.0,
"train_loss": 0.3831391127994056,
"train_runtime": 9863.5218,
"train_samples_per_second": 0.431,
"train_steps_per_second": 0.215
}
],
"max_steps": 2124,
"num_train_epochs": 3,
"total_flos": 742530008198736.0,
"trial_name": null,
"trial_params": null
}