Hugging Face's logo

NAMAA-Space
/
AraModernBert-Topic-Classifier

Text Classification
Transformers
Safetensors
Arabic
modernbert
arabic
Inference Endpoints
Model card Files Community
Omartificial-Intelligence-Space commited on
Commit
adcb66a
·
verified ·
1 Parent(s): ee367ec

upload 10 files

Browse files
Files changed (10) hide show
  1. config.json +66 -0
  2. model.safetensors +3 -0
  3. optimizer.pt +3 -0
  4. rng_state.pth +3 -0
  5. scheduler.pt +3 -0
  6. special_tokens_map.json +37 -0
  7. tokenizer.json +0 -0
  8. tokenizer_config.json +73 -0
  9. trainer_state.json +3406 -0
  10. training_args.bin +3 -0
config.json ADDED
@@ -0,0 +1,66 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "answerdotai/ModernBERT-base",
3
+ "architectures": [
4
+ "ModernBertForSequenceClassification"
5
+ ],
6
+ "attention_bias": false,
7
+ "attention_dropout": 0.0,
8
+ "bos_token_id": 50281,
9
+ "classifier_activation": "gelu",
10
+ "classifier_bias": false,
11
+ "classifier_dropout": 0.0,
12
+ "classifier_pooling": "mean",
13
+ "cls_token_id": 50281,
14
+ "decoder_bias": true,
15
+ "deterministic_flash_attn": false,
16
+ "embedding_dropout": 0.0,
17
+ "eos_token_id": 50282,
18
+ "global_attn_every_n_layers": 3,
19
+ "global_rope_theta": 160000.0,
20
+ "gradient_checkpointing": false,
21
+ "hidden_activation": "gelu",
22
+ "hidden_size": 768,
23
+ "id2label": {
24
+ "0": "Tech",
25
+ "1": "Finance",
26
+ "2": "Politics",
27
+ "3": "Religion",
28
+ "4": "Medical",
29
+ "5": "Culture",
30
+ "6": "Sports"
31
+ },
32
+ "initializer_cutoff_factor": 2.0,
33
+ "initializer_range": 0.02,
34
+ "intermediate_size": 1152,
35
+ "label2id": {
36
+ "Culture": "5",
37
+ "Finance": "1",
38
+ "Medical": "4",
39
+ "Politics": "2",
40
+ "Religion": "3",
41
+ "Sports": "6",
42
+ "Tech": "0"
43
+ },
44
+ "layer_norm_eps": 1e-05,
45
+ "local_attention": 128,
46
+ "local_rope_theta": 10000.0,
47
+ "max_position_embeddings": 8192,
48
+ "mlp_bias": false,
49
+ "mlp_dropout": 0.0,
50
+ "model_type": "modernbert",
51
+ "norm_bias": false,
52
+ "norm_eps": 1e-05,
53
+ "num_attention_heads": 12,
54
+ "num_hidden_layers": 22,
55
+ "pad_token_id": 50283,
56
+ "position_embedding_type": "absolute",
57
+ "problem_type": "single_label_classification",
58
+ "reference_compile": true,
59
+ "repad_logits_with_grad": false,
60
+ "sep_token_id": 50282,
61
+ "sparse_pred_ignore_index": -100,
62
+ "sparse_prediction": false,
63
+ "torch_dtype": "float32",
64
+ "transformers_version": "4.48.0",
65
+ "vocab_size": 50368
66
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6798754aab1618acfa436ee2268cc1c1579aed4ee087020648983f6b2dcb686f
3
+ size 598455164
optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:25e0a39bc5c35600dc5ab4e40b6e25af4466b7653afa9c28fe761724de9f78b5
3
+ size 1197000058
rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3e4e3f2c76c841a93a5381323cca8b4d90b8a05fa008a32306c4211971f113cc
3
+ size 14244
scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bd82384650897a4593437c1a4058e140e2c6fb934fd1aa1ea73bd6c8103c5549
3
+ size 1064
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": true,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,73 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<|padding|>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<|endoftext|>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[UNK]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[CLS]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[SEP]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "5": {
44
+ "content": "[PAD]",
45
+ "lstrip": false,
46
+ "normalized": false,
47
+ "rstrip": false,
48
+ "single_word": false,
49
+ "special": true
50
+ },
51
+ "6": {
52
+ "content": "[MASK]",
53
+ "lstrip": true,
54
+ "normalized": false,
55
+ "rstrip": false,
56
+ "single_word": false,
57
+ "special": true
58
+ }
59
+ },
60
+ "clean_up_tokenization_spaces": true,
61
+ "cls_token": "[CLS]",
62
+ "extra_special_tokens": {},
63
+ "mask_token": "[MASK]",
64
+ "model_input_names": [
65
+ "input_ids",
66
+ "attention_mask"
67
+ ],
68
+ "model_max_length": 1000000000000000019884624838656,
69
+ "pad_token": "[PAD]",
70
+ "sep_token": "[SEP]",
71
+ "tokenizer_class": "PreTrainedTokenizerFast",
72
+ "unk_token": "[UNK]"
73
+ }
trainer_state.json ADDED
@@ -0,0 +1,3406 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.9593731449578206,
3
+ "best_model_checkpoint": "ModernBERT-domain-classifier/checkpoint-31908",
4
+ "epoch": 3.0,
5
+ "eval_steps": 500,
6
+ "global_step": 47862,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.006268020559107434,
13
+ "grad_norm": 12.357645034790039,
14
+ "learning_rate": 4.9968659897204466e-05,
15
+ "loss": 2.0025,
16
+ "step": 100
17
+ },
18
+ {
19
+ "epoch": 0.012536041118214868,
20
+ "grad_norm": 20.970069885253906,
21
+ "learning_rate": 4.9937319794408924e-05,
22
+ "loss": 1.6744,
23
+ "step": 200
24
+ },
25
+ {
26
+ "epoch": 0.018804061677322303,
27
+ "grad_norm": 15.532102584838867,
28
+ "learning_rate": 4.9905979691613395e-05,
29
+ "loss": 1.3409,
30
+ "step": 300
31
+ },
32
+ {
33
+ "epoch": 0.025072082236429736,
34
+ "grad_norm": 23.552701950073242,
35
+ "learning_rate": 4.987463958881786e-05,
36
+ "loss": 1.0365,
37
+ "step": 400
38
+ },
39
+ {
40
+ "epoch": 0.03134010279553717,
41
+ "grad_norm": 13.55091381072998,
42
+ "learning_rate": 4.9843299486022316e-05,
43
+ "loss": 0.9218,
44
+ "step": 500
45
+ },
46
+ {
47
+ "epoch": 0.037608123354644606,
48
+ "grad_norm": 33.0805549621582,
49
+ "learning_rate": 4.981195938322678e-05,
50
+ "loss": 0.809,
51
+ "step": 600
52
+ },
53
+ {
54
+ "epoch": 0.04387614391375204,
55
+ "grad_norm": 8.363154411315918,
56
+ "learning_rate": 4.978061928043124e-05,
57
+ "loss": 0.6969,
58
+ "step": 700
59
+ },
60
+ {
61
+ "epoch": 0.05014416447285947,
62
+ "grad_norm": 10.521018981933594,
63
+ "learning_rate": 4.97492791776357e-05,
64
+ "loss": 0.7812,
65
+ "step": 800
66
+ },
67
+ {
68
+ "epoch": 0.056412185031966905,
69
+ "grad_norm": 11.835216522216797,
70
+ "learning_rate": 4.971793907484017e-05,
71
+ "loss": 0.6354,
72
+ "step": 900
73
+ },
74
+ {
75
+ "epoch": 0.06268020559107434,
76
+ "grad_norm": 15.48874282836914,
77
+ "learning_rate": 4.968659897204463e-05,
78
+ "loss": 0.589,
79
+ "step": 1000
80
+ },
81
+ {
82
+ "epoch": 0.06894822615018177,
83
+ "grad_norm": 5.225059986114502,
84
+ "learning_rate": 4.9655258869249094e-05,
85
+ "loss": 0.5623,
86
+ "step": 1100
87
+ },
88
+ {
89
+ "epoch": 0.07521624670928921,
90
+ "grad_norm": 8.500799179077148,
91
+ "learning_rate": 4.962391876645356e-05,
92
+ "loss": 0.4375,
93
+ "step": 1200
94
+ },
95
+ {
96
+ "epoch": 0.08148426726839664,
97
+ "grad_norm": 0.36157914996147156,
98
+ "learning_rate": 4.9592578663658015e-05,
99
+ "loss": 0.4691,
100
+ "step": 1300
101
+ },
102
+ {
103
+ "epoch": 0.08775228782750408,
104
+ "grad_norm": 0.9055732488632202,
105
+ "learning_rate": 4.9561238560862486e-05,
106
+ "loss": 0.5083,
107
+ "step": 1400
108
+ },
109
+ {
110
+ "epoch": 0.0940203083866115,
111
+ "grad_norm": 15.834701538085938,
112
+ "learning_rate": 4.9529898458066944e-05,
113
+ "loss": 0.4496,
114
+ "step": 1500
115
+ },
116
+ {
117
+ "epoch": 0.10028832894571894,
118
+ "grad_norm": 8.808372497558594,
119
+ "learning_rate": 4.949855835527141e-05,
120
+ "loss": 0.4379,
121
+ "step": 1600
122
+ },
123
+ {
124
+ "epoch": 0.10655634950482637,
125
+ "grad_norm": 13.547663688659668,
126
+ "learning_rate": 4.946721825247587e-05,
127
+ "loss": 0.4547,
128
+ "step": 1700
129
+ },
130
+ {
131
+ "epoch": 0.11282437006393381,
132
+ "grad_norm": 12.697524070739746,
133
+ "learning_rate": 4.943587814968033e-05,
134
+ "loss": 0.4347,
135
+ "step": 1800
136
+ },
137
+ {
138
+ "epoch": 0.11909239062304125,
139
+ "grad_norm": 14.472429275512695,
140
+ "learning_rate": 4.940453804688479e-05,
141
+ "loss": 0.3853,
142
+ "step": 1900
143
+ },
144
+ {
145
+ "epoch": 0.1253604111821487,
146
+ "grad_norm": 3.351533889770508,
147
+ "learning_rate": 4.9373197944089264e-05,
148
+ "loss": 0.4489,
149
+ "step": 2000
150
+ },
151
+ {
152
+ "epoch": 0.1316284317412561,
153
+ "grad_norm": 0.23762217164039612,
154
+ "learning_rate": 4.934185784129372e-05,
155
+ "loss": 0.3964,
156
+ "step": 2100
157
+ },
158
+ {
159
+ "epoch": 0.13789645230036354,
160
+ "grad_norm": 39.0670166015625,
161
+ "learning_rate": 4.9310517738498186e-05,
162
+ "loss": 0.3861,
163
+ "step": 2200
164
+ },
165
+ {
166
+ "epoch": 0.14416447285947098,
167
+ "grad_norm": 0.047631457448005676,
168
+ "learning_rate": 4.927917763570265e-05,
169
+ "loss": 0.3109,
170
+ "step": 2300
171
+ },
172
+ {
173
+ "epoch": 0.15043249341857842,
174
+ "grad_norm": 17.598962783813477,
175
+ "learning_rate": 4.924783753290711e-05,
176
+ "loss": 0.3623,
177
+ "step": 2400
178
+ },
179
+ {
180
+ "epoch": 0.15670051397768583,
181
+ "grad_norm": 6.580572128295898,
182
+ "learning_rate": 4.921649743011158e-05,
183
+ "loss": 0.2885,
184
+ "step": 2500
185
+ },
186
+ {
187
+ "epoch": 0.16296853453679327,
188
+ "grad_norm": 29.607555389404297,
189
+ "learning_rate": 4.9185157327316035e-05,
190
+ "loss": 0.3811,
191
+ "step": 2600
192
+ },
193
+ {
194
+ "epoch": 0.16923655509590071,
195
+ "grad_norm": 27.72866439819336,
196
+ "learning_rate": 4.91538172245205e-05,
197
+ "loss": 0.3464,
198
+ "step": 2700
199
+ },
200
+ {
201
+ "epoch": 0.17550457565500815,
202
+ "grad_norm": 0.1403748244047165,
203
+ "learning_rate": 4.912247712172496e-05,
204
+ "loss": 0.3022,
205
+ "step": 2800
206
+ },
207
+ {
208
+ "epoch": 0.1817725962141156,
209
+ "grad_norm": 0.08881185203790665,
210
+ "learning_rate": 4.909113701892942e-05,
211
+ "loss": 0.3729,
212
+ "step": 2900
213
+ },
214
+ {
215
+ "epoch": 0.188040616773223,
216
+ "grad_norm": 6.994024276733398,
217
+ "learning_rate": 4.9059796916133885e-05,
218
+ "loss": 0.3545,
219
+ "step": 3000
220
+ },
221
+ {
222
+ "epoch": 0.19430863733233045,
223
+ "grad_norm": 8.588685035705566,
224
+ "learning_rate": 4.9028456813338356e-05,
225
+ "loss": 0.3284,
226
+ "step": 3100
227
+ },
228
+ {
229
+ "epoch": 0.2005766578914379,
230
+ "grad_norm": 0.32822656631469727,
231
+ "learning_rate": 4.899711671054281e-05,
232
+ "loss": 0.3661,
233
+ "step": 3200
234
+ },
235
+ {
236
+ "epoch": 0.20684467845054533,
237
+ "grad_norm": 1.6464039087295532,
238
+ "learning_rate": 4.896577660774728e-05,
239
+ "loss": 0.3359,
240
+ "step": 3300
241
+ },
242
+ {
243
+ "epoch": 0.21311269900965274,
244
+ "grad_norm": 0.12039870768785477,
245
+ "learning_rate": 4.8934436504951734e-05,
246
+ "loss": 0.353,
247
+ "step": 3400
248
+ },
249
+ {
250
+ "epoch": 0.21938071956876018,
251
+ "grad_norm": 2.3566761016845703,
252
+ "learning_rate": 4.89030964021562e-05,
253
+ "loss": 0.3458,
254
+ "step": 3500
255
+ },
256
+ {
257
+ "epoch": 0.22564874012786762,
258
+ "grad_norm": 0.4579617977142334,
259
+ "learning_rate": 4.887175629936066e-05,
260
+ "loss": 0.3018,
261
+ "step": 3600
262
+ },
263
+ {
264
+ "epoch": 0.23191676068697506,
265
+ "grad_norm": 14.720295906066895,
266
+ "learning_rate": 4.884041619656513e-05,
267
+ "loss": 0.3,
268
+ "step": 3700
269
+ },
270
+ {
271
+ "epoch": 0.2381847812460825,
272
+ "grad_norm": 20.024921417236328,
273
+ "learning_rate": 4.880907609376959e-05,
274
+ "loss": 0.3259,
275
+ "step": 3800
276
+ },
277
+ {
278
+ "epoch": 0.2444528018051899,
279
+ "grad_norm": 0.1657363623380661,
280
+ "learning_rate": 4.8777735990974055e-05,
281
+ "loss": 0.3422,
282
+ "step": 3900
283
+ },
284
+ {
285
+ "epoch": 0.2507208223642974,
286
+ "grad_norm": 13.921937942504883,
287
+ "learning_rate": 4.874639588817851e-05,
288
+ "loss": 0.3179,
289
+ "step": 4000
290
+ },
291
+ {
292
+ "epoch": 0.2569888429234048,
293
+ "grad_norm": 5.137484550476074,
294
+ "learning_rate": 4.8715055785382976e-05,
295
+ "loss": 0.3224,
296
+ "step": 4100
297
+ },
298
+ {
299
+ "epoch": 0.2632568634825122,
300
+ "grad_norm": 0.32827550172805786,
301
+ "learning_rate": 4.868371568258744e-05,
302
+ "loss": 0.3353,
303
+ "step": 4200
304
+ },
305
+ {
306
+ "epoch": 0.2695248840416197,
307
+ "grad_norm": 0.013694345951080322,
308
+ "learning_rate": 4.8652375579791905e-05,
309
+ "loss": 0.2706,
310
+ "step": 4300
311
+ },
312
+ {
313
+ "epoch": 0.2757929046007271,
314
+ "grad_norm": 4.901852130889893,
315
+ "learning_rate": 4.862103547699637e-05,
316
+ "loss": 0.3296,
317
+ "step": 4400
318
+ },
319
+ {
320
+ "epoch": 0.2820609251598345,
321
+ "grad_norm": 1.1784251928329468,
322
+ "learning_rate": 4.8589695374200826e-05,
323
+ "loss": 0.2737,
324
+ "step": 4500
325
+ },
326
+ {
327
+ "epoch": 0.28832894571894196,
328
+ "grad_norm": 4.07144021987915,
329
+ "learning_rate": 4.855835527140529e-05,
330
+ "loss": 0.3078,
331
+ "step": 4600
332
+ },
333
+ {
334
+ "epoch": 0.2945969662780494,
335
+ "grad_norm": 27.181507110595703,
336
+ "learning_rate": 4.8527015168609754e-05,
337
+ "loss": 0.3688,
338
+ "step": 4700
339
+ },
340
+ {
341
+ "epoch": 0.30086498683715684,
342
+ "grad_norm": 2.0683059692382812,
343
+ "learning_rate": 4.849567506581422e-05,
344
+ "loss": 0.269,
345
+ "step": 4800
346
+ },
347
+ {
348
+ "epoch": 0.30713300739626426,
349
+ "grad_norm": 0.0376540943980217,
350
+ "learning_rate": 4.846433496301868e-05,
351
+ "loss": 0.2659,
352
+ "step": 4900
353
+ },
354
+ {
355
+ "epoch": 0.31340102795537167,
356
+ "grad_norm": 4.966544151306152,
357
+ "learning_rate": 4.8432994860223146e-05,
358
+ "loss": 0.2155,
359
+ "step": 5000
360
+ },
361
+ {
362
+ "epoch": 0.31966904851447914,
363
+ "grad_norm": 0.2637276351451874,
364
+ "learning_rate": 4.8401654757427604e-05,
365
+ "loss": 0.2505,
366
+ "step": 5100
367
+ },
368
+ {
369
+ "epoch": 0.32593706907358655,
370
+ "grad_norm": 9.37961196899414,
371
+ "learning_rate": 4.837031465463207e-05,
372
+ "loss": 0.347,
373
+ "step": 5200
374
+ },
375
+ {
376
+ "epoch": 0.332205089632694,
377
+ "grad_norm": 0.15031716227531433,
378
+ "learning_rate": 4.833897455183653e-05,
379
+ "loss": 0.2586,
380
+ "step": 5300
381
+ },
382
+ {
383
+ "epoch": 0.33847311019180143,
384
+ "grad_norm": 0.07241084426641464,
385
+ "learning_rate": 4.8307634449040996e-05,
386
+ "loss": 0.2508,
387
+ "step": 5400
388
+ },
389
+ {
390
+ "epoch": 0.34474113075090884,
391
+ "grad_norm": 6.840641975402832,
392
+ "learning_rate": 4.827629434624546e-05,
393
+ "loss": 0.2748,
394
+ "step": 5500
395
+ },
396
+ {
397
+ "epoch": 0.3510091513100163,
398
+ "grad_norm": 8.171294212341309,
399
+ "learning_rate": 4.824495424344992e-05,
400
+ "loss": 0.2542,
401
+ "step": 5600
402
+ },
403
+ {
404
+ "epoch": 0.3572771718691237,
405
+ "grad_norm": 3.3636763095855713,
406
+ "learning_rate": 4.821361414065438e-05,
407
+ "loss": 0.2947,
408
+ "step": 5700
409
+ },
410
+ {
411
+ "epoch": 0.3635451924282312,
412
+ "grad_norm": 1.3265916109085083,
413
+ "learning_rate": 4.8182274037858846e-05,
414
+ "loss": 0.2655,
415
+ "step": 5800
416
+ },
417
+ {
418
+ "epoch": 0.3698132129873386,
419
+ "grad_norm": 21.420007705688477,
420
+ "learning_rate": 4.815093393506331e-05,
421
+ "loss": 0.2877,
422
+ "step": 5900
423
+ },
424
+ {
425
+ "epoch": 0.376081233546446,
426
+ "grad_norm": 4.7249250411987305,
427
+ "learning_rate": 4.8119593832267774e-05,
428
+ "loss": 0.279,
429
+ "step": 6000
430
+ },
431
+ {
432
+ "epoch": 0.3823492541055535,
433
+ "grad_norm": 0.15022224187850952,
434
+ "learning_rate": 4.808825372947223e-05,
435
+ "loss": 0.2357,
436
+ "step": 6100
437
+ },
438
+ {
439
+ "epoch": 0.3886172746646609,
440
+ "grad_norm": 0.4195699989795685,
441
+ "learning_rate": 4.8056913626676695e-05,
442
+ "loss": 0.2828,
443
+ "step": 6200
444
+ },
445
+ {
446
+ "epoch": 0.3948852952237683,
447
+ "grad_norm": 1.3854116201400757,
448
+ "learning_rate": 4.802557352388116e-05,
449
+ "loss": 0.2591,
450
+ "step": 6300
451
+ },
452
+ {
453
+ "epoch": 0.4011533157828758,
454
+ "grad_norm": 0.041278645396232605,
455
+ "learning_rate": 4.7994233421085624e-05,
456
+ "loss": 0.1858,
457
+ "step": 6400
458
+ },
459
+ {
460
+ "epoch": 0.4074213363419832,
461
+ "grad_norm": 0.029629528522491455,
462
+ "learning_rate": 4.796289331829009e-05,
463
+ "loss": 0.2609,
464
+ "step": 6500
465
+ },
466
+ {
467
+ "epoch": 0.41368935690109065,
468
+ "grad_norm": 8.087828636169434,
469
+ "learning_rate": 4.793155321549455e-05,
470
+ "loss": 0.2383,
471
+ "step": 6600
472
+ },
473
+ {
474
+ "epoch": 0.41995737746019807,
475
+ "grad_norm": 13.660598754882812,
476
+ "learning_rate": 4.790021311269901e-05,
477
+ "loss": 0.266,
478
+ "step": 6700
479
+ },
480
+ {
481
+ "epoch": 0.4262253980193055,
482
+ "grad_norm": 14.072225570678711,
483
+ "learning_rate": 4.786887300990347e-05,
484
+ "loss": 0.241,
485
+ "step": 6800
486
+ },
487
+ {
488
+ "epoch": 0.43249341857841295,
489
+ "grad_norm": 0.16693659126758575,
490
+ "learning_rate": 4.783753290710794e-05,
491
+ "loss": 0.2785,
492
+ "step": 6900
493
+ },
494
+ {
495
+ "epoch": 0.43876143913752036,
496
+ "grad_norm": 5.747068405151367,
497
+ "learning_rate": 4.78061928043124e-05,
498
+ "loss": 0.2253,
499
+ "step": 7000
500
+ },
501
+ {
502
+ "epoch": 0.4450294596966278,
503
+ "grad_norm": 0.04524581879377365,
504
+ "learning_rate": 4.7774852701516865e-05,
505
+ "loss": 0.276,
506
+ "step": 7100
507
+ },
508
+ {
509
+ "epoch": 0.45129748025573524,
510
+ "grad_norm": 36.236358642578125,
511
+ "learning_rate": 4.774351259872132e-05,
512
+ "loss": 0.2014,
513
+ "step": 7200
514
+ },
515
+ {
516
+ "epoch": 0.45756550081484265,
517
+ "grad_norm": 0.07485531270503998,
518
+ "learning_rate": 4.771217249592579e-05,
519
+ "loss": 0.285,
520
+ "step": 7300
521
+ },
522
+ {
523
+ "epoch": 0.4638335213739501,
524
+ "grad_norm": 4.288136959075928,
525
+ "learning_rate": 4.768083239313025e-05,
526
+ "loss": 0.2378,
527
+ "step": 7400
528
+ },
529
+ {
530
+ "epoch": 0.47010154193305753,
531
+ "grad_norm": 13.278217315673828,
532
+ "learning_rate": 4.7649492290334715e-05,
533
+ "loss": 0.281,
534
+ "step": 7500
535
+ },
536
+ {
537
+ "epoch": 0.476369562492165,
538
+ "grad_norm": 0.08824972063302994,
539
+ "learning_rate": 4.761815218753918e-05,
540
+ "loss": 0.2629,
541
+ "step": 7600
542
+ },
543
+ {
544
+ "epoch": 0.4826375830512724,
545
+ "grad_norm": 4.795785903930664,
546
+ "learning_rate": 4.758681208474364e-05,
547
+ "loss": 0.2207,
548
+ "step": 7700
549
+ },
550
+ {
551
+ "epoch": 0.4889056036103798,
552
+ "grad_norm": 0.27128365635871887,
553
+ "learning_rate": 4.75554719819481e-05,
554
+ "loss": 0.2615,
555
+ "step": 7800
556
+ },
557
+ {
558
+ "epoch": 0.4951736241694873,
559
+ "grad_norm": 0.5811434388160706,
560
+ "learning_rate": 4.7524131879152565e-05,
561
+ "loss": 0.2678,
562
+ "step": 7900
563
+ },
564
+ {
565
+ "epoch": 0.5014416447285948,
566
+ "grad_norm": 0.03569044545292854,
567
+ "learning_rate": 4.749279177635703e-05,
568
+ "loss": 0.2467,
569
+ "step": 8000
570
+ },
571
+ {
572
+ "epoch": 0.5077096652877021,
573
+ "grad_norm": 0.034228041768074036,
574
+ "learning_rate": 4.746145167356149e-05,
575
+ "loss": 0.2433,
576
+ "step": 8100
577
+ },
578
+ {
579
+ "epoch": 0.5139776858468096,
580
+ "grad_norm": 1.4098780155181885,
581
+ "learning_rate": 4.743011157076596e-05,
582
+ "loss": 0.2147,
583
+ "step": 8200
584
+ },
585
+ {
586
+ "epoch": 0.520245706405917,
587
+ "grad_norm": 9.719144821166992,
588
+ "learning_rate": 4.7398771467970414e-05,
589
+ "loss": 0.2991,
590
+ "step": 8300
591
+ },
592
+ {
593
+ "epoch": 0.5265137269650244,
594
+ "grad_norm": 8.547225952148438,
595
+ "learning_rate": 4.736743136517488e-05,
596
+ "loss": 0.208,
597
+ "step": 8400
598
+ },
599
+ {
600
+ "epoch": 0.5327817475241319,
601
+ "grad_norm": 0.24977388978004456,
602
+ "learning_rate": 4.733609126237934e-05,
603
+ "loss": 0.2344,
604
+ "step": 8500
605
+ },
606
+ {
607
+ "epoch": 0.5390497680832393,
608
+ "grad_norm": 6.569125175476074,
609
+ "learning_rate": 4.730475115958381e-05,
610
+ "loss": 0.2045,
611
+ "step": 8600
612
+ },
613
+ {
614
+ "epoch": 0.5453177886423467,
615
+ "grad_norm": 2.6308412551879883,
616
+ "learning_rate": 4.727341105678827e-05,
617
+ "loss": 0.2342,
618
+ "step": 8700
619
+ },
620
+ {
621
+ "epoch": 0.5515858092014542,
622
+ "grad_norm": 2.902594804763794,
623
+ "learning_rate": 4.724207095399273e-05,
624
+ "loss": 0.2608,
625
+ "step": 8800
626
+ },
627
+ {
628
+ "epoch": 0.5578538297605616,
629
+ "grad_norm": 0.1357877552509308,
630
+ "learning_rate": 4.721073085119719e-05,
631
+ "loss": 0.2196,
632
+ "step": 8900
633
+ },
634
+ {
635
+ "epoch": 0.564121850319669,
636
+ "grad_norm": 0.747113823890686,
637
+ "learning_rate": 4.7179390748401656e-05,
638
+ "loss": 0.2465,
639
+ "step": 9000
640
+ },
641
+ {
642
+ "epoch": 0.5703898708787765,
643
+ "grad_norm": 0.24382618069648743,
644
+ "learning_rate": 4.714805064560612e-05,
645
+ "loss": 0.224,
646
+ "step": 9100
647
+ },
648
+ {
649
+ "epoch": 0.5766578914378839,
650
+ "grad_norm": 0.23163369297981262,
651
+ "learning_rate": 4.7116710542810584e-05,
652
+ "loss": 0.3044,
653
+ "step": 9200
654
+ },
655
+ {
656
+ "epoch": 0.5829259119969914,
657
+ "grad_norm": 12.491781234741211,
658
+ "learning_rate": 4.708537044001505e-05,
659
+ "loss": 0.2169,
660
+ "step": 9300
661
+ },
662
+ {
663
+ "epoch": 0.5891939325560988,
664
+ "grad_norm": 1.7576824426651,
665
+ "learning_rate": 4.7054030337219506e-05,
666
+ "loss": 0.2451,
667
+ "step": 9400
668
+ },
669
+ {
670
+ "epoch": 0.5954619531152062,
671
+ "grad_norm": 5.619567394256592,
672
+ "learning_rate": 4.702269023442397e-05,
673
+ "loss": 0.1866,
674
+ "step": 9500
675
+ },
676
+ {
677
+ "epoch": 0.6017299736743137,
678
+ "grad_norm": 6.3452372550964355,
679
+ "learning_rate": 4.6991350131628434e-05,
680
+ "loss": 0.2275,
681
+ "step": 9600
682
+ },
683
+ {
684
+ "epoch": 0.607997994233421,
685
+ "grad_norm": 0.31002557277679443,
686
+ "learning_rate": 4.69600100288329e-05,
687
+ "loss": 0.2169,
688
+ "step": 9700
689
+ },
690
+ {
691
+ "epoch": 0.6142660147925285,
692
+ "grad_norm": 1.301358938217163,
693
+ "learning_rate": 4.692866992603736e-05,
694
+ "loss": 0.1886,
695
+ "step": 9800
696
+ },
697
+ {
698
+ "epoch": 0.620534035351636,
699
+ "grad_norm": 0.06169494241476059,
700
+ "learning_rate": 4.689732982324182e-05,
701
+ "loss": 0.1638,
702
+ "step": 9900
703
+ },
704
+ {
705
+ "epoch": 0.6268020559107433,
706
+ "grad_norm": 13.020919799804688,
707
+ "learning_rate": 4.6865989720446284e-05,
708
+ "loss": 0.1943,
709
+ "step": 10000
710
+ },
711
+ {
712
+ "epoch": 0.6330700764698508,
713
+ "grad_norm": 7.256196022033691,
714
+ "learning_rate": 4.683464961765075e-05,
715
+ "loss": 0.2656,
716
+ "step": 10100
717
+ },
718
+ {
719
+ "epoch": 0.6393380970289583,
720
+ "grad_norm": 0.7037761807441711,
721
+ "learning_rate": 4.680330951485521e-05,
722
+ "loss": 0.2449,
723
+ "step": 10200
724
+ },
725
+ {
726
+ "epoch": 0.6456061175880657,
727
+ "grad_norm": 0.023662934079766273,
728
+ "learning_rate": 4.6771969412059676e-05,
729
+ "loss": 0.1742,
730
+ "step": 10300
731
+ },
732
+ {
733
+ "epoch": 0.6518741381471731,
734
+ "grad_norm": 0.11139848828315735,
735
+ "learning_rate": 4.674062930926414e-05,
736
+ "loss": 0.2589,
737
+ "step": 10400
738
+ },
739
+ {
740
+ "epoch": 0.6581421587062806,
741
+ "grad_norm": 3.553799867630005,
742
+ "learning_rate": 4.67092892064686e-05,
743
+ "loss": 0.2232,
744
+ "step": 10500
745
+ },
746
+ {
747
+ "epoch": 0.664410179265388,
748
+ "grad_norm": 0.04857179895043373,
749
+ "learning_rate": 4.667794910367306e-05,
750
+ "loss": 0.218,
751
+ "step": 10600
752
+ },
753
+ {
754
+ "epoch": 0.6706781998244954,
755
+ "grad_norm": 12.25068473815918,
756
+ "learning_rate": 4.6646609000877526e-05,
757
+ "loss": 0.1691,
758
+ "step": 10700
759
+ },
760
+ {
761
+ "epoch": 0.6769462203836029,
762
+ "grad_norm": 0.07977677136659622,
763
+ "learning_rate": 4.661526889808199e-05,
764
+ "loss": 0.1842,
765
+ "step": 10800
766
+ },
767
+ {
768
+ "epoch": 0.6832142409427103,
769
+ "grad_norm": 23.676185607910156,
770
+ "learning_rate": 4.6583928795286454e-05,
771
+ "loss": 0.2229,
772
+ "step": 10900
773
+ },
774
+ {
775
+ "epoch": 0.6894822615018177,
776
+ "grad_norm": 6.073796272277832,
777
+ "learning_rate": 4.655258869249091e-05,
778
+ "loss": 0.1825,
779
+ "step": 11000
780
+ },
781
+ {
782
+ "epoch": 0.6957502820609252,
783
+ "grad_norm": 0.6215938925743103,
784
+ "learning_rate": 4.6521248589695375e-05,
785
+ "loss": 0.2086,
786
+ "step": 11100
787
+ },
788
+ {
789
+ "epoch": 0.7020183026200326,
790
+ "grad_norm": 32.23947525024414,
791
+ "learning_rate": 4.648990848689984e-05,
792
+ "loss": 0.1622,
793
+ "step": 11200
794
+ },
795
+ {
796
+ "epoch": 0.70828632317914,
797
+ "grad_norm": 10.441763877868652,
798
+ "learning_rate": 4.6458568384104303e-05,
799
+ "loss": 0.1814,
800
+ "step": 11300
801
+ },
802
+ {
803
+ "epoch": 0.7145543437382474,
804
+ "grad_norm": 0.10066933929920197,
805
+ "learning_rate": 4.642722828130877e-05,
806
+ "loss": 0.2305,
807
+ "step": 11400
808
+ },
809
+ {
810
+ "epoch": 0.7208223642973549,
811
+ "grad_norm": 13.855279922485352,
812
+ "learning_rate": 4.639588817851323e-05,
813
+ "loss": 0.1431,
814
+ "step": 11500
815
+ },
816
+ {
817
+ "epoch": 0.7270903848564624,
818
+ "grad_norm": 3.840632915496826,
819
+ "learning_rate": 4.636454807571769e-05,
820
+ "loss": 0.2341,
821
+ "step": 11600
822
+ },
823
+ {
824
+ "epoch": 0.7333584054155697,
825
+ "grad_norm": 7.0180511474609375,
826
+ "learning_rate": 4.633320797292215e-05,
827
+ "loss": 0.1847,
828
+ "step": 11700
829
+ },
830
+ {
831
+ "epoch": 0.7396264259746772,
832
+ "grad_norm": 3.461946964263916,
833
+ "learning_rate": 4.630186787012662e-05,
834
+ "loss": 0.2863,
835
+ "step": 11800
836
+ },
837
+ {
838
+ "epoch": 0.7458944465337847,
839
+ "grad_norm": 12.662203788757324,
840
+ "learning_rate": 4.627052776733108e-05,
841
+ "loss": 0.2175,
842
+ "step": 11900
843
+ },
844
+ {
845
+ "epoch": 0.752162467092892,
846
+ "grad_norm": 5.079529762268066,
847
+ "learning_rate": 4.6239187664535545e-05,
848
+ "loss": 0.2338,
849
+ "step": 12000
850
+ },
851
+ {
852
+ "epoch": 0.7584304876519995,
853
+ "grad_norm": 0.03900396078824997,
854
+ "learning_rate": 4.620784756174e-05,
855
+ "loss": 0.2092,
856
+ "step": 12100
857
+ },
858
+ {
859
+ "epoch": 0.764698508211107,
860
+ "grad_norm": 0.748273491859436,
861
+ "learning_rate": 4.617650745894447e-05,
862
+ "loss": 0.2213,
863
+ "step": 12200
864
+ },
865
+ {
866
+ "epoch": 0.7709665287702143,
867
+ "grad_norm": 6.272397994995117,
868
+ "learning_rate": 4.614516735614893e-05,
869
+ "loss": 0.1807,
870
+ "step": 12300
871
+ },
872
+ {
873
+ "epoch": 0.7772345493293218,
874
+ "grad_norm": 6.342704772949219,
875
+ "learning_rate": 4.6113827253353395e-05,
876
+ "loss": 0.2114,
877
+ "step": 12400
878
+ },
879
+ {
880
+ "epoch": 0.7835025698884293,
881
+ "grad_norm": 15.692971229553223,
882
+ "learning_rate": 4.608248715055786e-05,
883
+ "loss": 0.1815,
884
+ "step": 12500
885
+ },
886
+ {
887
+ "epoch": 0.7897705904475366,
888
+ "grad_norm": 0.11576833575963974,
889
+ "learning_rate": 4.6051147047762316e-05,
890
+ "loss": 0.19,
891
+ "step": 12600
892
+ },
893
+ {
894
+ "epoch": 0.7960386110066441,
895
+ "grad_norm": 0.6892977952957153,
896
+ "learning_rate": 4.601980694496678e-05,
897
+ "loss": 0.2188,
898
+ "step": 12700
899
+ },
900
+ {
901
+ "epoch": 0.8023066315657515,
902
+ "grad_norm": 0.3841142952442169,
903
+ "learning_rate": 4.5988466842171245e-05,
904
+ "loss": 0.1978,
905
+ "step": 12800
906
+ },
907
+ {
908
+ "epoch": 0.808574652124859,
909
+ "grad_norm": 0.10382460802793503,
910
+ "learning_rate": 4.595712673937571e-05,
911
+ "loss": 0.207,
912
+ "step": 12900
913
+ },
914
+ {
915
+ "epoch": 0.8148426726839664,
916
+ "grad_norm": 9.244260787963867,
917
+ "learning_rate": 4.592578663658017e-05,
918
+ "loss": 0.2113,
919
+ "step": 13000
920
+ },
921
+ {
922
+ "epoch": 0.8211106932430738,
923
+ "grad_norm": 2.754213333129883,
924
+ "learning_rate": 4.589444653378464e-05,
925
+ "loss": 0.2173,
926
+ "step": 13100
927
+ },
928
+ {
929
+ "epoch": 0.8273787138021813,
930
+ "grad_norm": 0.046558987349271774,
931
+ "learning_rate": 4.5863106430989094e-05,
932
+ "loss": 0.1983,
933
+ "step": 13200
934
+ },
935
+ {
936
+ "epoch": 0.8336467343612887,
937
+ "grad_norm": 0.7020443081855774,
938
+ "learning_rate": 4.583176632819356e-05,
939
+ "loss": 0.1804,
940
+ "step": 13300
941
+ },
942
+ {
943
+ "epoch": 0.8399147549203961,
944
+ "grad_norm": 2.7180488109588623,
945
+ "learning_rate": 4.5800426225398016e-05,
946
+ "loss": 0.2352,
947
+ "step": 13400
948
+ },
949
+ {
950
+ "epoch": 0.8461827754795036,
951
+ "grad_norm": 4.205974102020264,
952
+ "learning_rate": 4.5769086122602487e-05,
953
+ "loss": 0.1915,
954
+ "step": 13500
955
+ },
956
+ {
957
+ "epoch": 0.852450796038611,
958
+ "grad_norm": 0.0550006739795208,
959
+ "learning_rate": 4.573774601980695e-05,
960
+ "loss": 0.2185,
961
+ "step": 13600
962
+ },
963
+ {
964
+ "epoch": 0.8587188165977184,
965
+ "grad_norm": 0.3276146352291107,
966
+ "learning_rate": 4.570640591701141e-05,
967
+ "loss": 0.1954,
968
+ "step": 13700
969
+ },
970
+ {
971
+ "epoch": 0.8649868371568259,
972
+ "grad_norm": 0.15139640867710114,
973
+ "learning_rate": 4.567506581421587e-05,
974
+ "loss": 0.1623,
975
+ "step": 13800
976
+ },
977
+ {
978
+ "epoch": 0.8712548577159334,
979
+ "grad_norm": 6.504459381103516,
980
+ "learning_rate": 4.5643725711420336e-05,
981
+ "loss": 0.1982,
982
+ "step": 13900
983
+ },
984
+ {
985
+ "epoch": 0.8775228782750407,
986
+ "grad_norm": 0.07944973558187485,
987
+ "learning_rate": 4.5612385608624794e-05,
988
+ "loss": 0.2283,
989
+ "step": 14000
990
+ },
991
+ {
992
+ "epoch": 0.8837908988341482,
993
+ "grad_norm": 0.19034264981746674,
994
+ "learning_rate": 4.5581045505829264e-05,
995
+ "loss": 0.1896,
996
+ "step": 14100
997
+ },
998
+ {
999
+ "epoch": 0.8900589193932557,
1000
+ "grad_norm": 0.6090401411056519,
1001
+ "learning_rate": 4.554970540303373e-05,
1002
+ "loss": 0.1645,
1003
+ "step": 14200
1004
+ },
1005
+ {
1006
+ "epoch": 0.896326939952363,
1007
+ "grad_norm": 0.03382911533117294,
1008
+ "learning_rate": 4.5518365300238186e-05,
1009
+ "loss": 0.2243,
1010
+ "step": 14300
1011
+ },
1012
+ {
1013
+ "epoch": 0.9025949605114705,
1014
+ "grad_norm": 0.9687917232513428,
1015
+ "learning_rate": 4.548702519744265e-05,
1016
+ "loss": 0.1683,
1017
+ "step": 14400
1018
+ },
1019
+ {
1020
+ "epoch": 0.908862981070578,
1021
+ "grad_norm": 0.07237120717763901,
1022
+ "learning_rate": 4.545568509464711e-05,
1023
+ "loss": 0.1632,
1024
+ "step": 14500
1025
+ },
1026
+ {
1027
+ "epoch": 0.9151310016296853,
1028
+ "grad_norm": 3.475529432296753,
1029
+ "learning_rate": 4.542434499185158e-05,
1030
+ "loss": 0.2634,
1031
+ "step": 14600
1032
+ },
1033
+ {
1034
+ "epoch": 0.9213990221887928,
1035
+ "grad_norm": 0.0120365209877491,
1036
+ "learning_rate": 4.539300488905604e-05,
1037
+ "loss": 0.1222,
1038
+ "step": 14700
1039
+ },
1040
+ {
1041
+ "epoch": 0.9276670427479002,
1042
+ "grad_norm": 0.8651108741760254,
1043
+ "learning_rate": 4.53616647862605e-05,
1044
+ "loss": 0.2346,
1045
+ "step": 14800
1046
+ },
1047
+ {
1048
+ "epoch": 0.9339350633070076,
1049
+ "grad_norm": 0.01904441975057125,
1050
+ "learning_rate": 4.5330324683464964e-05,
1051
+ "loss": 0.1765,
1052
+ "step": 14900
1053
+ },
1054
+ {
1055
+ "epoch": 0.9402030838661151,
1056
+ "grad_norm": 6.470919132232666,
1057
+ "learning_rate": 4.529898458066943e-05,
1058
+ "loss": 0.2147,
1059
+ "step": 15000
1060
+ },
1061
+ {
1062
+ "epoch": 0.9464711044252225,
1063
+ "grad_norm": 0.36246490478515625,
1064
+ "learning_rate": 4.5267644477873885e-05,
1065
+ "loss": 0.2193,
1066
+ "step": 15100
1067
+ },
1068
+ {
1069
+ "epoch": 0.95273912498433,
1070
+ "grad_norm": 9.216349601745605,
1071
+ "learning_rate": 4.5236304375078356e-05,
1072
+ "loss": 0.1617,
1073
+ "step": 15200
1074
+ },
1075
+ {
1076
+ "epoch": 0.9590071455434374,
1077
+ "grad_norm": 0.5773089528083801,
1078
+ "learning_rate": 4.520496427228281e-05,
1079
+ "loss": 0.1949,
1080
+ "step": 15300
1081
+ },
1082
+ {
1083
+ "epoch": 0.9652751661025448,
1084
+ "grad_norm": 1.643012285232544,
1085
+ "learning_rate": 4.517362416948728e-05,
1086
+ "loss": 0.2192,
1087
+ "step": 15400
1088
+ },
1089
+ {
1090
+ "epoch": 0.9715431866616523,
1091
+ "grad_norm": 18.9224853515625,
1092
+ "learning_rate": 4.514228406669174e-05,
1093
+ "loss": 0.1987,
1094
+ "step": 15500
1095
+ },
1096
+ {
1097
+ "epoch": 0.9778112072207596,
1098
+ "grad_norm": 3.0048677921295166,
1099
+ "learning_rate": 4.51109439638962e-05,
1100
+ "loss": 0.2092,
1101
+ "step": 15600
1102
+ },
1103
+ {
1104
+ "epoch": 0.9840792277798671,
1105
+ "grad_norm": 0.02751915343105793,
1106
+ "learning_rate": 4.507960386110067e-05,
1107
+ "loss": 0.1458,
1108
+ "step": 15700
1109
+ },
1110
+ {
1111
+ "epoch": 0.9903472483389746,
1112
+ "grad_norm": 1.8317995071411133,
1113
+ "learning_rate": 4.5048263758305134e-05,
1114
+ "loss": 0.1322,
1115
+ "step": 15800
1116
+ },
1117
+ {
1118
+ "epoch": 0.9966152688980819,
1119
+ "grad_norm": 5.543197154998779,
1120
+ "learning_rate": 4.501692365550959e-05,
1121
+ "loss": 0.201,
1122
+ "step": 15900
1123
+ },
1124
+ {
1125
+ "epoch": 1.0,
1126
+ "eval_f1": 0.9497412360183047,
1127
+ "eval_loss": 0.20201221108436584,
1128
+ "eval_runtime": 47.5825,
1129
+ "eval_samples_per_second": 298.03,
1130
+ "eval_steps_per_second": 37.262,
1131
+ "step": 15954
1132
+ },
1133
+ {
1134
+ "epoch": 1.0028832894571895,
1135
+ "grad_norm": 0.2572493553161621,
1136
+ "learning_rate": 4.4985583552714055e-05,
1137
+ "loss": 0.1726,
1138
+ "step": 16000
1139
+ },
1140
+ {
1141
+ "epoch": 1.0091513100162968,
1142
+ "grad_norm": 0.023830950260162354,
1143
+ "learning_rate": 4.495424344991852e-05,
1144
+ "loss": 0.1437,
1145
+ "step": 16100
1146
+ },
1147
+ {
1148
+ "epoch": 1.0154193305754042,
1149
+ "grad_norm": 0.2514733672142029,
1150
+ "learning_rate": 4.492290334712298e-05,
1151
+ "loss": 0.1482,
1152
+ "step": 16200
1153
+ },
1154
+ {
1155
+ "epoch": 1.0216873511345117,
1156
+ "grad_norm": 0.33695363998413086,
1157
+ "learning_rate": 4.489156324432745e-05,
1158
+ "loss": 0.1092,
1159
+ "step": 16300
1160
+ },
1161
+ {
1162
+ "epoch": 1.0279553716936192,
1163
+ "grad_norm": 8.34520435333252,
1164
+ "learning_rate": 4.4860223141531905e-05,
1165
+ "loss": 0.1169,
1166
+ "step": 16400
1167
+ },
1168
+ {
1169
+ "epoch": 1.0342233922527266,
1170
+ "grad_norm": 0.4668201804161072,
1171
+ "learning_rate": 4.482888303873637e-05,
1172
+ "loss": 0.1143,
1173
+ "step": 16500
1174
+ },
1175
+ {
1176
+ "epoch": 1.040491412811834,
1177
+ "grad_norm": 0.028503745794296265,
1178
+ "learning_rate": 4.479754293594083e-05,
1179
+ "loss": 0.1405,
1180
+ "step": 16600
1181
+ },
1182
+ {
1183
+ "epoch": 1.0467594333709414,
1184
+ "grad_norm": 0.6004204750061035,
1185
+ "learning_rate": 4.476620283314529e-05,
1186
+ "loss": 0.1202,
1187
+ "step": 16700
1188
+ },
1189
+ {
1190
+ "epoch": 1.0530274539300488,
1191
+ "grad_norm": 0.027077751234173775,
1192
+ "learning_rate": 4.473486273034976e-05,
1193
+ "loss": 0.1141,
1194
+ "step": 16800
1195
+ },
1196
+ {
1197
+ "epoch": 1.0592954744891563,
1198
+ "grad_norm": 0.026096515357494354,
1199
+ "learning_rate": 4.4703522627554225e-05,
1200
+ "loss": 0.1982,
1201
+ "step": 16900
1202
+ },
1203
+ {
1204
+ "epoch": 1.0655634950482638,
1205
+ "grad_norm": 10.615415573120117,
1206
+ "learning_rate": 4.467218252475868e-05,
1207
+ "loss": 0.1293,
1208
+ "step": 17000
1209
+ },
1210
+ {
1211
+ "epoch": 1.0718315156073712,
1212
+ "grad_norm": 0.09615737944841385,
1213
+ "learning_rate": 4.464084242196315e-05,
1214
+ "loss": 0.1146,
1215
+ "step": 17100
1216
+ },
1217
+ {
1218
+ "epoch": 1.0780995361664787,
1219
+ "grad_norm": 8.987353324890137,
1220
+ "learning_rate": 4.4609502319167604e-05,
1221
+ "loss": 0.1449,
1222
+ "step": 17200
1223
+ },
1224
+ {
1225
+ "epoch": 1.0843675567255862,
1226
+ "grad_norm": 0.06758946180343628,
1227
+ "learning_rate": 4.457816221637207e-05,
1228
+ "loss": 0.1195,
1229
+ "step": 17300
1230
+ },
1231
+ {
1232
+ "epoch": 1.0906355772846934,
1233
+ "grad_norm": 0.04790417477488518,
1234
+ "learning_rate": 4.454682211357654e-05,
1235
+ "loss": 0.1694,
1236
+ "step": 17400
1237
+ },
1238
+ {
1239
+ "epoch": 1.0969035978438009,
1240
+ "grad_norm": 5.665248394012451,
1241
+ "learning_rate": 4.4515482010780996e-05,
1242
+ "loss": 0.1474,
1243
+ "step": 17500
1244
+ },
1245
+ {
1246
+ "epoch": 1.1031716184029083,
1247
+ "grad_norm": 0.05797085538506508,
1248
+ "learning_rate": 4.448414190798546e-05,
1249
+ "loss": 0.1105,
1250
+ "step": 17600
1251
+ },
1252
+ {
1253
+ "epoch": 1.1094396389620158,
1254
+ "grad_norm": 0.03206124156713486,
1255
+ "learning_rate": 4.4452801805189925e-05,
1256
+ "loss": 0.0949,
1257
+ "step": 17700
1258
+ },
1259
+ {
1260
+ "epoch": 1.1157076595211233,
1261
+ "grad_norm": 0.08074434101581573,
1262
+ "learning_rate": 4.442146170239438e-05,
1263
+ "loss": 0.1655,
1264
+ "step": 17800
1265
+ },
1266
+ {
1267
+ "epoch": 1.1219756800802307,
1268
+ "grad_norm": 0.020155681297183037,
1269
+ "learning_rate": 4.439012159959885e-05,
1270
+ "loss": 0.1137,
1271
+ "step": 17900
1272
+ },
1273
+ {
1274
+ "epoch": 1.128243700639338,
1275
+ "grad_norm": 0.16802071034908295,
1276
+ "learning_rate": 4.435878149680332e-05,
1277
+ "loss": 0.138,
1278
+ "step": 18000
1279
+ },
1280
+ {
1281
+ "epoch": 1.1345117211984455,
1282
+ "grad_norm": 5.59773063659668,
1283
+ "learning_rate": 4.4327441394007774e-05,
1284
+ "loss": 0.1327,
1285
+ "step": 18100
1286
+ },
1287
+ {
1288
+ "epoch": 1.140779741757553,
1289
+ "grad_norm": 0.5361349582672119,
1290
+ "learning_rate": 4.429610129121224e-05,
1291
+ "loss": 0.1515,
1292
+ "step": 18200
1293
+ },
1294
+ {
1295
+ "epoch": 1.1470477623166604,
1296
+ "grad_norm": 0.004768712446093559,
1297
+ "learning_rate": 4.4264761188416696e-05,
1298
+ "loss": 0.0917,
1299
+ "step": 18300
1300
+ },
1301
+ {
1302
+ "epoch": 1.1533157828757679,
1303
+ "grad_norm": 0.11958374828100204,
1304
+ "learning_rate": 4.423342108562116e-05,
1305
+ "loss": 0.1423,
1306
+ "step": 18400
1307
+ },
1308
+ {
1309
+ "epoch": 1.1595838034348753,
1310
+ "grad_norm": 0.032529979944229126,
1311
+ "learning_rate": 4.420208098282563e-05,
1312
+ "loss": 0.122,
1313
+ "step": 18500
1314
+ },
1315
+ {
1316
+ "epoch": 1.1658518239939828,
1317
+ "grad_norm": 5.665451526641846,
1318
+ "learning_rate": 4.417074088003009e-05,
1319
+ "loss": 0.1351,
1320
+ "step": 18600
1321
+ },
1322
+ {
1323
+ "epoch": 1.17211984455309,
1324
+ "grad_norm": 5.187871932983398,
1325
+ "learning_rate": 4.413940077723455e-05,
1326
+ "loss": 0.1364,
1327
+ "step": 18700
1328
+ },
1329
+ {
1330
+ "epoch": 1.1783878651121975,
1331
+ "grad_norm": 0.017089562490582466,
1332
+ "learning_rate": 4.4108060674439016e-05,
1333
+ "loss": 0.1011,
1334
+ "step": 18800
1335
+ },
1336
+ {
1337
+ "epoch": 1.184655885671305,
1338
+ "grad_norm": 0.6145625114440918,
1339
+ "learning_rate": 4.4076720571643474e-05,
1340
+ "loss": 0.1138,
1341
+ "step": 18900
1342
+ },
1343
+ {
1344
+ "epoch": 1.1909239062304124,
1345
+ "grad_norm": 0.3502688705921173,
1346
+ "learning_rate": 4.4045380468847944e-05,
1347
+ "loss": 0.1183,
1348
+ "step": 19000
1349
+ },
1350
+ {
1351
+ "epoch": 1.19719192678952,
1352
+ "grad_norm": 0.025053372606635094,
1353
+ "learning_rate": 4.40140403660524e-05,
1354
+ "loss": 0.1461,
1355
+ "step": 19100
1356
+ },
1357
+ {
1358
+ "epoch": 1.2034599473486274,
1359
+ "grad_norm": 4.409730911254883,
1360
+ "learning_rate": 4.3982700263256866e-05,
1361
+ "loss": 0.115,
1362
+ "step": 19200
1363
+ },
1364
+ {
1365
+ "epoch": 1.2097279679077348,
1366
+ "grad_norm": 0.04246415197849274,
1367
+ "learning_rate": 4.395136016046133e-05,
1368
+ "loss": 0.1226,
1369
+ "step": 19300
1370
+ },
1371
+ {
1372
+ "epoch": 1.215995988466842,
1373
+ "grad_norm": 0.061329249292612076,
1374
+ "learning_rate": 4.392002005766579e-05,
1375
+ "loss": 0.178,
1376
+ "step": 19400
1377
+ },
1378
+ {
1379
+ "epoch": 1.2222640090259496,
1380
+ "grad_norm": 0.6803941130638123,
1381
+ "learning_rate": 4.388867995487025e-05,
1382
+ "loss": 0.1162,
1383
+ "step": 19500
1384
+ },
1385
+ {
1386
+ "epoch": 1.228532029585057,
1387
+ "grad_norm": 0.021054541692137718,
1388
+ "learning_rate": 4.385733985207472e-05,
1389
+ "loss": 0.1519,
1390
+ "step": 19600
1391
+ },
1392
+ {
1393
+ "epoch": 1.2348000501441645,
1394
+ "grad_norm": 0.03315689042210579,
1395
+ "learning_rate": 4.382599974927918e-05,
1396
+ "loss": 0.1587,
1397
+ "step": 19700
1398
+ },
1399
+ {
1400
+ "epoch": 1.241068070703272,
1401
+ "grad_norm": 0.08555241674184799,
1402
+ "learning_rate": 4.3794659646483644e-05,
1403
+ "loss": 0.2087,
1404
+ "step": 19800
1405
+ },
1406
+ {
1407
+ "epoch": 1.2473360912623794,
1408
+ "grad_norm": 0.033810269087553024,
1409
+ "learning_rate": 4.37633195436881e-05,
1410
+ "loss": 0.119,
1411
+ "step": 19900
1412
+ },
1413
+ {
1414
+ "epoch": 1.253604111821487,
1415
+ "grad_norm": 0.06064239889383316,
1416
+ "learning_rate": 4.3731979440892565e-05,
1417
+ "loss": 0.1734,
1418
+ "step": 20000
1419
+ },
1420
+ {
1421
+ "epoch": 1.2598721323805941,
1422
+ "grad_norm": 0.12100313603878021,
1423
+ "learning_rate": 4.370063933809703e-05,
1424
+ "loss": 0.1858,
1425
+ "step": 20100
1426
+ },
1427
+ {
1428
+ "epoch": 1.2661401529397016,
1429
+ "grad_norm": 5.416502475738525,
1430
+ "learning_rate": 4.366929923530149e-05,
1431
+ "loss": 0.1107,
1432
+ "step": 20200
1433
+ },
1434
+ {
1435
+ "epoch": 1.272408173498809,
1436
+ "grad_norm": 0.41584721207618713,
1437
+ "learning_rate": 4.363795913250596e-05,
1438
+ "loss": 0.1767,
1439
+ "step": 20300
1440
+ },
1441
+ {
1442
+ "epoch": 1.2786761940579165,
1443
+ "grad_norm": 0.030553661286830902,
1444
+ "learning_rate": 4.360661902971042e-05,
1445
+ "loss": 0.0947,
1446
+ "step": 20400
1447
+ },
1448
+ {
1449
+ "epoch": 1.284944214617024,
1450
+ "grad_norm": 5.664852142333984,
1451
+ "learning_rate": 4.357527892691488e-05,
1452
+ "loss": 0.1605,
1453
+ "step": 20500
1454
+ },
1455
+ {
1456
+ "epoch": 1.2912122351761313,
1457
+ "grad_norm": 0.03313322365283966,
1458
+ "learning_rate": 4.354393882411934e-05,
1459
+ "loss": 0.1782,
1460
+ "step": 20600
1461
+ },
1462
+ {
1463
+ "epoch": 1.2974802557352387,
1464
+ "grad_norm": 0.237337127327919,
1465
+ "learning_rate": 4.3512598721323814e-05,
1466
+ "loss": 0.1108,
1467
+ "step": 20700
1468
+ },
1469
+ {
1470
+ "epoch": 1.3037482762943462,
1471
+ "grad_norm": 0.0343439057469368,
1472
+ "learning_rate": 4.348125861852827e-05,
1473
+ "loss": 0.1628,
1474
+ "step": 20800
1475
+ },
1476
+ {
1477
+ "epoch": 1.3100162968534537,
1478
+ "grad_norm": 1.1754486560821533,
1479
+ "learning_rate": 4.3449918515732735e-05,
1480
+ "loss": 0.1332,
1481
+ "step": 20900
1482
+ },
1483
+ {
1484
+ "epoch": 1.3162843174125611,
1485
+ "grad_norm": 0.0784272775053978,
1486
+ "learning_rate": 4.341857841293719e-05,
1487
+ "loss": 0.1358,
1488
+ "step": 21000
1489
+ },
1490
+ {
1491
+ "epoch": 1.3225523379716686,
1492
+ "grad_norm": 5.860198974609375,
1493
+ "learning_rate": 4.338723831014166e-05,
1494
+ "loss": 0.1316,
1495
+ "step": 21100
1496
+ },
1497
+ {
1498
+ "epoch": 1.328820358530776,
1499
+ "grad_norm": 0.04818045720458031,
1500
+ "learning_rate": 4.335589820734612e-05,
1501
+ "loss": 0.1339,
1502
+ "step": 21200
1503
+ },
1504
+ {
1505
+ "epoch": 1.3350883790898833,
1506
+ "grad_norm": 0.10664447396993637,
1507
+ "learning_rate": 4.3324558104550585e-05,
1508
+ "loss": 0.1532,
1509
+ "step": 21300
1510
+ },
1511
+ {
1512
+ "epoch": 1.3413563996489908,
1513
+ "grad_norm": 0.01120070368051529,
1514
+ "learning_rate": 4.329321800175505e-05,
1515
+ "loss": 0.1361,
1516
+ "step": 21400
1517
+ },
1518
+ {
1519
+ "epoch": 1.3476244202080983,
1520
+ "grad_norm": 0.04355592280626297,
1521
+ "learning_rate": 4.326187789895951e-05,
1522
+ "loss": 0.1589,
1523
+ "step": 21500
1524
+ },
1525
+ {
1526
+ "epoch": 1.3538924407672057,
1527
+ "grad_norm": 0.29224634170532227,
1528
+ "learning_rate": 4.323053779616397e-05,
1529
+ "loss": 0.1829,
1530
+ "step": 21600
1531
+ },
1532
+ {
1533
+ "epoch": 1.3601604613263132,
1534
+ "grad_norm": 7.532464981079102,
1535
+ "learning_rate": 4.3199197693368434e-05,
1536
+ "loss": 0.1457,
1537
+ "step": 21700
1538
+ },
1539
+ {
1540
+ "epoch": 1.3664284818854207,
1541
+ "grad_norm": 0.05146549642086029,
1542
+ "learning_rate": 4.31678575905729e-05,
1543
+ "loss": 0.1832,
1544
+ "step": 21800
1545
+ },
1546
+ {
1547
+ "epoch": 1.3726965024445281,
1548
+ "grad_norm": 2.5926992893218994,
1549
+ "learning_rate": 4.313651748777736e-05,
1550
+ "loss": 0.1241,
1551
+ "step": 21900
1552
+ },
1553
+ {
1554
+ "epoch": 1.3789645230036354,
1555
+ "grad_norm": 0.023670606315135956,
1556
+ "learning_rate": 4.310517738498183e-05,
1557
+ "loss": 0.1094,
1558
+ "step": 22000
1559
+ },
1560
+ {
1561
+ "epoch": 1.3852325435627428,
1562
+ "grad_norm": 0.016848748549818993,
1563
+ "learning_rate": 4.3073837282186284e-05,
1564
+ "loss": 0.153,
1565
+ "step": 22100
1566
+ },
1567
+ {
1568
+ "epoch": 1.3915005641218503,
1569
+ "grad_norm": 0.018959341570734978,
1570
+ "learning_rate": 4.304249717939075e-05,
1571
+ "loss": 0.1875,
1572
+ "step": 22200
1573
+ },
1574
+ {
1575
+ "epoch": 1.3977685846809578,
1576
+ "grad_norm": 4.0403876304626465,
1577
+ "learning_rate": 4.301115707659521e-05,
1578
+ "loss": 0.1089,
1579
+ "step": 22300
1580
+ },
1581
+ {
1582
+ "epoch": 1.4040366052400652,
1583
+ "grad_norm": 16.69829750061035,
1584
+ "learning_rate": 4.2979816973799676e-05,
1585
+ "loss": 0.1504,
1586
+ "step": 22400
1587
+ },
1588
+ {
1589
+ "epoch": 1.4103046257991725,
1590
+ "grad_norm": 11.63906478881836,
1591
+ "learning_rate": 4.294847687100414e-05,
1592
+ "loss": 0.1297,
1593
+ "step": 22500
1594
+ },
1595
+ {
1596
+ "epoch": 1.4165726463582802,
1597
+ "grad_norm": 0.058484334498643875,
1598
+ "learning_rate": 4.2917136768208605e-05,
1599
+ "loss": 0.1609,
1600
+ "step": 22600
1601
+ },
1602
+ {
1603
+ "epoch": 1.4228406669173874,
1604
+ "grad_norm": 0.10660742968320847,
1605
+ "learning_rate": 4.288579666541306e-05,
1606
+ "loss": 0.117,
1607
+ "step": 22700
1608
+ },
1609
+ {
1610
+ "epoch": 1.4291086874764949,
1611
+ "grad_norm": 0.8750506639480591,
1612
+ "learning_rate": 4.2854456562617526e-05,
1613
+ "loss": 0.2154,
1614
+ "step": 22800
1615
+ },
1616
+ {
1617
+ "epoch": 1.4353767080356024,
1618
+ "grad_norm": 0.01947125606238842,
1619
+ "learning_rate": 4.282311645982199e-05,
1620
+ "loss": 0.1373,
1621
+ "step": 22900
1622
+ },
1623
+ {
1624
+ "epoch": 1.4416447285947098,
1625
+ "grad_norm": 7.973813533782959,
1626
+ "learning_rate": 4.2791776357026454e-05,
1627
+ "loss": 0.1175,
1628
+ "step": 23000
1629
+ },
1630
+ {
1631
+ "epoch": 1.4479127491538173,
1632
+ "grad_norm": 0.2649206221103668,
1633
+ "learning_rate": 4.276043625423092e-05,
1634
+ "loss": 0.1472,
1635
+ "step": 23100
1636
+ },
1637
+ {
1638
+ "epoch": 1.4541807697129245,
1639
+ "grad_norm": 0.06597866863012314,
1640
+ "learning_rate": 4.2729096151435376e-05,
1641
+ "loss": 0.1212,
1642
+ "step": 23200
1643
+ },
1644
+ {
1645
+ "epoch": 1.4604487902720322,
1646
+ "grad_norm": 0.06586948037147522,
1647
+ "learning_rate": 4.269775604863984e-05,
1648
+ "loss": 0.1713,
1649
+ "step": 23300
1650
+ },
1651
+ {
1652
+ "epoch": 1.4667168108311395,
1653
+ "grad_norm": 0.009352350607514381,
1654
+ "learning_rate": 4.2666415945844304e-05,
1655
+ "loss": 0.1581,
1656
+ "step": 23400
1657
+ },
1658
+ {
1659
+ "epoch": 1.472984831390247,
1660
+ "grad_norm": 4.44644832611084,
1661
+ "learning_rate": 4.263507584304877e-05,
1662
+ "loss": 0.1527,
1663
+ "step": 23500
1664
+ },
1665
+ {
1666
+ "epoch": 1.4792528519493544,
1667
+ "grad_norm": 0.09516802430152893,
1668
+ "learning_rate": 4.260373574025323e-05,
1669
+ "loss": 0.1353,
1670
+ "step": 23600
1671
+ },
1672
+ {
1673
+ "epoch": 1.4855208725084619,
1674
+ "grad_norm": 0.0312493946403265,
1675
+ "learning_rate": 4.257239563745769e-05,
1676
+ "loss": 0.1086,
1677
+ "step": 23700
1678
+ },
1679
+ {
1680
+ "epoch": 1.4917888930675693,
1681
+ "grad_norm": 0.153848335146904,
1682
+ "learning_rate": 4.2541055534662153e-05,
1683
+ "loss": 0.13,
1684
+ "step": 23800
1685
+ },
1686
+ {
1687
+ "epoch": 1.4980569136266766,
1688
+ "grad_norm": 0.05382615327835083,
1689
+ "learning_rate": 4.250971543186662e-05,
1690
+ "loss": 0.13,
1691
+ "step": 23900
1692
+ },
1693
+ {
1694
+ "epoch": 1.5043249341857843,
1695
+ "grad_norm": 3.612338066101074,
1696
+ "learning_rate": 4.247837532907108e-05,
1697
+ "loss": 0.0916,
1698
+ "step": 24000
1699
+ },
1700
+ {
1701
+ "epoch": 1.5105929547448915,
1702
+ "grad_norm": 0.16405566036701202,
1703
+ "learning_rate": 4.2447035226275546e-05,
1704
+ "loss": 0.1233,
1705
+ "step": 24100
1706
+ },
1707
+ {
1708
+ "epoch": 1.516860975303999,
1709
+ "grad_norm": 0.043971579521894455,
1710
+ "learning_rate": 4.241569512348001e-05,
1711
+ "loss": 0.1144,
1712
+ "step": 24200
1713
+ },
1714
+ {
1715
+ "epoch": 1.5231289958631065,
1716
+ "grad_norm": 0.7001562118530273,
1717
+ "learning_rate": 4.238435502068447e-05,
1718
+ "loss": 0.1285,
1719
+ "step": 24300
1720
+ },
1721
+ {
1722
+ "epoch": 1.5293970164222137,
1723
+ "grad_norm": 4.435388088226318,
1724
+ "learning_rate": 4.235301491788893e-05,
1725
+ "loss": 0.1002,
1726
+ "step": 24400
1727
+ },
1728
+ {
1729
+ "epoch": 1.5356650369813214,
1730
+ "grad_norm": 0.031049372628331184,
1731
+ "learning_rate": 4.2321674815093395e-05,
1732
+ "loss": 0.1373,
1733
+ "step": 24500
1734
+ },
1735
+ {
1736
+ "epoch": 1.5419330575404286,
1737
+ "grad_norm": 2.7801127433776855,
1738
+ "learning_rate": 4.229033471229786e-05,
1739
+ "loss": 0.1551,
1740
+ "step": 24600
1741
+ },
1742
+ {
1743
+ "epoch": 1.5482010780995363,
1744
+ "grad_norm": 0.07833578437566757,
1745
+ "learning_rate": 4.2258994609502324e-05,
1746
+ "loss": 0.1379,
1747
+ "step": 24700
1748
+ },
1749
+ {
1750
+ "epoch": 1.5544690986586436,
1751
+ "grad_norm": 0.38435450196266174,
1752
+ "learning_rate": 4.222765450670678e-05,
1753
+ "loss": 0.1436,
1754
+ "step": 24800
1755
+ },
1756
+ {
1757
+ "epoch": 1.560737119217751,
1758
+ "grad_norm": 0.0331881120800972,
1759
+ "learning_rate": 4.2196314403911245e-05,
1760
+ "loss": 0.1299,
1761
+ "step": 24900
1762
+ },
1763
+ {
1764
+ "epoch": 1.5670051397768585,
1765
+ "grad_norm": 0.05836120992898941,
1766
+ "learning_rate": 4.216497430111571e-05,
1767
+ "loss": 0.0855,
1768
+ "step": 25000
1769
+ },
1770
+ {
1771
+ "epoch": 1.5732731603359658,
1772
+ "grad_norm": 0.09680526703596115,
1773
+ "learning_rate": 4.213363419832017e-05,
1774
+ "loss": 0.1713,
1775
+ "step": 25100
1776
+ },
1777
+ {
1778
+ "epoch": 1.5795411808950734,
1779
+ "grad_norm": 6.43214750289917,
1780
+ "learning_rate": 4.210229409552464e-05,
1781
+ "loss": 0.084,
1782
+ "step": 25200
1783
+ },
1784
+ {
1785
+ "epoch": 1.5858092014541807,
1786
+ "grad_norm": 18.783109664916992,
1787
+ "learning_rate": 4.20709539927291e-05,
1788
+ "loss": 0.1622,
1789
+ "step": 25300
1790
+ },
1791
+ {
1792
+ "epoch": 1.5920772220132882,
1793
+ "grad_norm": 16.250749588012695,
1794
+ "learning_rate": 4.203961388993356e-05,
1795
+ "loss": 0.1102,
1796
+ "step": 25400
1797
+ },
1798
+ {
1799
+ "epoch": 1.5983452425723956,
1800
+ "grad_norm": 3.157179117202759,
1801
+ "learning_rate": 4.200827378713802e-05,
1802
+ "loss": 0.1162,
1803
+ "step": 25500
1804
+ },
1805
+ {
1806
+ "epoch": 1.604613263131503,
1807
+ "grad_norm": 3.886101245880127,
1808
+ "learning_rate": 4.197693368434249e-05,
1809
+ "loss": 0.0922,
1810
+ "step": 25600
1811
+ },
1812
+ {
1813
+ "epoch": 1.6108812836906106,
1814
+ "grad_norm": 0.02459394559264183,
1815
+ "learning_rate": 4.194559358154695e-05,
1816
+ "loss": 0.1432,
1817
+ "step": 25700
1818
+ },
1819
+ {
1820
+ "epoch": 1.6171493042497178,
1821
+ "grad_norm": 5.012412071228027,
1822
+ "learning_rate": 4.1914253478751415e-05,
1823
+ "loss": 0.1231,
1824
+ "step": 25800
1825
+ },
1826
+ {
1827
+ "epoch": 1.6234173248088255,
1828
+ "grad_norm": 0.9605007171630859,
1829
+ "learning_rate": 4.188291337595587e-05,
1830
+ "loss": 0.1137,
1831
+ "step": 25900
1832
+ },
1833
+ {
1834
+ "epoch": 1.6296853453679327,
1835
+ "grad_norm": 0.05215989425778389,
1836
+ "learning_rate": 4.1851573273160337e-05,
1837
+ "loss": 0.1471,
1838
+ "step": 26000
1839
+ },
1840
+ {
1841
+ "epoch": 1.6359533659270402,
1842
+ "grad_norm": 0.27536773681640625,
1843
+ "learning_rate": 4.18202331703648e-05,
1844
+ "loss": 0.1517,
1845
+ "step": 26100
1846
+ },
1847
+ {
1848
+ "epoch": 1.6422213864861477,
1849
+ "grad_norm": 0.015393884852528572,
1850
+ "learning_rate": 4.1788893067569265e-05,
1851
+ "loss": 0.1523,
1852
+ "step": 26200
1853
+ },
1854
+ {
1855
+ "epoch": 1.6484894070452552,
1856
+ "grad_norm": 0.15863627195358276,
1857
+ "learning_rate": 4.175755296477373e-05,
1858
+ "loss": 0.1426,
1859
+ "step": 26300
1860
+ },
1861
+ {
1862
+ "epoch": 1.6547574276043626,
1863
+ "grad_norm": 3.170154571533203,
1864
+ "learning_rate": 4.1726212861978186e-05,
1865
+ "loss": 0.1801,
1866
+ "step": 26400
1867
+ },
1868
+ {
1869
+ "epoch": 1.6610254481634699,
1870
+ "grad_norm": 0.04839281737804413,
1871
+ "learning_rate": 4.169487275918265e-05,
1872
+ "loss": 0.119,
1873
+ "step": 26500
1874
+ },
1875
+ {
1876
+ "epoch": 1.6672934687225776,
1877
+ "grad_norm": 0.04801773279905319,
1878
+ "learning_rate": 4.1663532656387114e-05,
1879
+ "loss": 0.1377,
1880
+ "step": 26600
1881
+ },
1882
+ {
1883
+ "epoch": 1.6735614892816848,
1884
+ "grad_norm": 0.031017405912280083,
1885
+ "learning_rate": 4.163219255359158e-05,
1886
+ "loss": 0.1264,
1887
+ "step": 26700
1888
+ },
1889
+ {
1890
+ "epoch": 1.6798295098407923,
1891
+ "grad_norm": 0.05843241140246391,
1892
+ "learning_rate": 4.160085245079604e-05,
1893
+ "loss": 0.1027,
1894
+ "step": 26800
1895
+ },
1896
+ {
1897
+ "epoch": 1.6860975303998997,
1898
+ "grad_norm": 0.020908353850245476,
1899
+ "learning_rate": 4.156951234800051e-05,
1900
+ "loss": 0.1489,
1901
+ "step": 26900
1902
+ },
1903
+ {
1904
+ "epoch": 1.692365550959007,
1905
+ "grad_norm": 0.36993488669395447,
1906
+ "learning_rate": 4.1538172245204964e-05,
1907
+ "loss": 0.1221,
1908
+ "step": 27000
1909
+ },
1910
+ {
1911
+ "epoch": 1.6986335715181147,
1912
+ "grad_norm": 0.009281585924327374,
1913
+ "learning_rate": 4.150683214240943e-05,
1914
+ "loss": 0.1226,
1915
+ "step": 27100
1916
+ },
1917
+ {
1918
+ "epoch": 1.704901592077222,
1919
+ "grad_norm": 0.9608448147773743,
1920
+ "learning_rate": 4.147549203961389e-05,
1921
+ "loss": 0.1278,
1922
+ "step": 27200
1923
+ },
1924
+ {
1925
+ "epoch": 1.7111696126363296,
1926
+ "grad_norm": 3.3816165924072266,
1927
+ "learning_rate": 4.1444151936818356e-05,
1928
+ "loss": 0.1606,
1929
+ "step": 27300
1930
+ },
1931
+ {
1932
+ "epoch": 1.7174376331954369,
1933
+ "grad_norm": 0.035224977880716324,
1934
+ "learning_rate": 4.141281183402282e-05,
1935
+ "loss": 0.0929,
1936
+ "step": 27400
1937
+ },
1938
+ {
1939
+ "epoch": 1.7237056537545443,
1940
+ "grad_norm": 0.030741138383746147,
1941
+ "learning_rate": 4.138147173122728e-05,
1942
+ "loss": 0.1115,
1943
+ "step": 27500
1944
+ },
1945
+ {
1946
+ "epoch": 1.7299736743136518,
1947
+ "grad_norm": 0.7804316878318787,
1948
+ "learning_rate": 4.135013162843174e-05,
1949
+ "loss": 0.1099,
1950
+ "step": 27600
1951
+ },
1952
+ {
1953
+ "epoch": 1.736241694872759,
1954
+ "grad_norm": 12.860640525817871,
1955
+ "learning_rate": 4.1318791525636206e-05,
1956
+ "loss": 0.1177,
1957
+ "step": 27700
1958
+ },
1959
+ {
1960
+ "epoch": 1.7425097154318667,
1961
+ "grad_norm": 0.01669987104833126,
1962
+ "learning_rate": 4.128745142284067e-05,
1963
+ "loss": 0.1323,
1964
+ "step": 27800
1965
+ },
1966
+ {
1967
+ "epoch": 1.748777735990974,
1968
+ "grad_norm": 0.06566524505615234,
1969
+ "learning_rate": 4.1256111320045134e-05,
1970
+ "loss": 0.1587,
1971
+ "step": 27900
1972
+ },
1973
+ {
1974
+ "epoch": 1.7550457565500814,
1975
+ "grad_norm": 0.0271492600440979,
1976
+ "learning_rate": 4.12247712172496e-05,
1977
+ "loss": 0.0951,
1978
+ "step": 28000
1979
+ },
1980
+ {
1981
+ "epoch": 1.761313777109189,
1982
+ "grad_norm": 0.26668888330459595,
1983
+ "learning_rate": 4.1193431114454056e-05,
1984
+ "loss": 0.1226,
1985
+ "step": 28100
1986
+ },
1987
+ {
1988
+ "epoch": 1.7675817976682964,
1989
+ "grad_norm": 2.946155309677124,
1990
+ "learning_rate": 4.116209101165852e-05,
1991
+ "loss": 0.1123,
1992
+ "step": 28200
1993
+ },
1994
+ {
1995
+ "epoch": 1.7738498182274038,
1996
+ "grad_norm": 0.024197395890951157,
1997
+ "learning_rate": 4.1130750908862984e-05,
1998
+ "loss": 0.1279,
1999
+ "step": 28300
2000
+ },
2001
+ {
2002
+ "epoch": 1.780117838786511,
2003
+ "grad_norm": 0.032337360084056854,
2004
+ "learning_rate": 4.109941080606745e-05,
2005
+ "loss": 0.1505,
2006
+ "step": 28400
2007
+ },
2008
+ {
2009
+ "epoch": 1.7863858593456188,
2010
+ "grad_norm": 0.019564684480428696,
2011
+ "learning_rate": 4.106807070327191e-05,
2012
+ "loss": 0.104,
2013
+ "step": 28500
2014
+ },
2015
+ {
2016
+ "epoch": 1.792653879904726,
2017
+ "grad_norm": 0.028655577450990677,
2018
+ "learning_rate": 4.103673060047637e-05,
2019
+ "loss": 0.1017,
2020
+ "step": 28600
2021
+ },
2022
+ {
2023
+ "epoch": 1.7989219004638335,
2024
+ "grad_norm": 10.458086967468262,
2025
+ "learning_rate": 4.1005390497680833e-05,
2026
+ "loss": 0.1603,
2027
+ "step": 28700
2028
+ },
2029
+ {
2030
+ "epoch": 1.805189921022941,
2031
+ "grad_norm": 1.0219428539276123,
2032
+ "learning_rate": 4.09740503948853e-05,
2033
+ "loss": 0.1287,
2034
+ "step": 28800
2035
+ },
2036
+ {
2037
+ "epoch": 1.8114579415820484,
2038
+ "grad_norm": 3.7257254123687744,
2039
+ "learning_rate": 4.094271029208976e-05,
2040
+ "loss": 0.1308,
2041
+ "step": 28900
2042
+ },
2043
+ {
2044
+ "epoch": 1.817725962141156,
2045
+ "grad_norm": 0.07095759361982346,
2046
+ "learning_rate": 4.0911370189294226e-05,
2047
+ "loss": 0.1693,
2048
+ "step": 29000
2049
+ },
2050
+ {
2051
+ "epoch": 1.8239939827002631,
2052
+ "grad_norm": 0.07273363322019577,
2053
+ "learning_rate": 4.088003008649868e-05,
2054
+ "loss": 0.1173,
2055
+ "step": 29100
2056
+ },
2057
+ {
2058
+ "epoch": 1.8302620032593708,
2059
+ "grad_norm": 0.016207663342356682,
2060
+ "learning_rate": 4.084868998370315e-05,
2061
+ "loss": 0.0757,
2062
+ "step": 29200
2063
+ },
2064
+ {
2065
+ "epoch": 1.836530023818478,
2066
+ "grad_norm": 8.10350227355957,
2067
+ "learning_rate": 4.081734988090761e-05,
2068
+ "loss": 0.1705,
2069
+ "step": 29300
2070
+ },
2071
+ {
2072
+ "epoch": 1.8427980443775855,
2073
+ "grad_norm": 0.020618712529540062,
2074
+ "learning_rate": 4.0786009778112075e-05,
2075
+ "loss": 0.1505,
2076
+ "step": 29400
2077
+ },
2078
+ {
2079
+ "epoch": 1.849066064936693,
2080
+ "grad_norm": 0.01778154820203781,
2081
+ "learning_rate": 4.075466967531654e-05,
2082
+ "loss": 0.0881,
2083
+ "step": 29500
2084
+ },
2085
+ {
2086
+ "epoch": 1.8553340854958005,
2087
+ "grad_norm": 0.3636402487754822,
2088
+ "learning_rate": 4.0723329572521004e-05,
2089
+ "loss": 0.124,
2090
+ "step": 29600
2091
+ },
2092
+ {
2093
+ "epoch": 1.861602106054908,
2094
+ "grad_norm": 0.053270913660526276,
2095
+ "learning_rate": 4.069198946972546e-05,
2096
+ "loss": 0.1033,
2097
+ "step": 29700
2098
+ },
2099
+ {
2100
+ "epoch": 1.8678701266140152,
2101
+ "grad_norm": 0.14825250208377838,
2102
+ "learning_rate": 4.0660649366929925e-05,
2103
+ "loss": 0.1336,
2104
+ "step": 29800
2105
+ },
2106
+ {
2107
+ "epoch": 1.8741381471731229,
2108
+ "grad_norm": 0.5773608684539795,
2109
+ "learning_rate": 4.062930926413439e-05,
2110
+ "loss": 0.1577,
2111
+ "step": 29900
2112
+ },
2113
+ {
2114
+ "epoch": 1.8804061677322301,
2115
+ "grad_norm": 0.04096854850649834,
2116
+ "learning_rate": 4.059796916133885e-05,
2117
+ "loss": 0.1389,
2118
+ "step": 30000
2119
+ },
2120
+ {
2121
+ "epoch": 1.8866741882913376,
2122
+ "grad_norm": 0.1584090292453766,
2123
+ "learning_rate": 4.056662905854332e-05,
2124
+ "loss": 0.1156,
2125
+ "step": 30100
2126
+ },
2127
+ {
2128
+ "epoch": 1.892942208850445,
2129
+ "grad_norm": 0.025279894471168518,
2130
+ "learning_rate": 4.0535288955747775e-05,
2131
+ "loss": 0.1698,
2132
+ "step": 30200
2133
+ },
2134
+ {
2135
+ "epoch": 1.8992102294095523,
2136
+ "grad_norm": 0.01919800415635109,
2137
+ "learning_rate": 4.050394885295224e-05,
2138
+ "loss": 0.1191,
2139
+ "step": 30300
2140
+ },
2141
+ {
2142
+ "epoch": 1.90547824996866,
2143
+ "grad_norm": 0.6554661989212036,
2144
+ "learning_rate": 4.04726087501567e-05,
2145
+ "loss": 0.1015,
2146
+ "step": 30400
2147
+ },
2148
+ {
2149
+ "epoch": 1.9117462705277672,
2150
+ "grad_norm": 10.302351951599121,
2151
+ "learning_rate": 4.044126864736116e-05,
2152
+ "loss": 0.1468,
2153
+ "step": 30500
2154
+ },
2155
+ {
2156
+ "epoch": 1.9180142910868747,
2157
+ "grad_norm": 0.019414065405726433,
2158
+ "learning_rate": 4.040992854456563e-05,
2159
+ "loss": 0.1338,
2160
+ "step": 30600
2161
+ },
2162
+ {
2163
+ "epoch": 1.9242823116459822,
2164
+ "grad_norm": 0.8314793705940247,
2165
+ "learning_rate": 4.0378588441770095e-05,
2166
+ "loss": 0.1011,
2167
+ "step": 30700
2168
+ },
2169
+ {
2170
+ "epoch": 1.9305503322050896,
2171
+ "grad_norm": 6.409970283508301,
2172
+ "learning_rate": 4.034724833897455e-05,
2173
+ "loss": 0.1082,
2174
+ "step": 30800
2175
+ },
2176
+ {
2177
+ "epoch": 1.9368183527641971,
2178
+ "grad_norm": 0.019885946065187454,
2179
+ "learning_rate": 4.0315908236179017e-05,
2180
+ "loss": 0.1341,
2181
+ "step": 30900
2182
+ },
2183
+ {
2184
+ "epoch": 1.9430863733233044,
2185
+ "grad_norm": 19.638233184814453,
2186
+ "learning_rate": 4.0284568133383474e-05,
2187
+ "loss": 0.1709,
2188
+ "step": 31000
2189
+ },
2190
+ {
2191
+ "epoch": 1.949354393882412,
2192
+ "grad_norm": 0.017337223514914513,
2193
+ "learning_rate": 4.0253228030587945e-05,
2194
+ "loss": 0.1019,
2195
+ "step": 31100
2196
+ },
2197
+ {
2198
+ "epoch": 1.9556224144415193,
2199
+ "grad_norm": 0.090455062687397,
2200
+ "learning_rate": 4.022188792779241e-05,
2201
+ "loss": 0.1393,
2202
+ "step": 31200
2203
+ },
2204
+ {
2205
+ "epoch": 1.9618904350006268,
2206
+ "grad_norm": 0.04115147516131401,
2207
+ "learning_rate": 4.0190547824996866e-05,
2208
+ "loss": 0.1956,
2209
+ "step": 31300
2210
+ },
2211
+ {
2212
+ "epoch": 1.9681584555597342,
2213
+ "grad_norm": 0.009835952892899513,
2214
+ "learning_rate": 4.015920772220133e-05,
2215
+ "loss": 0.0807,
2216
+ "step": 31400
2217
+ },
2218
+ {
2219
+ "epoch": 1.9744264761188417,
2220
+ "grad_norm": 24.049352645874023,
2221
+ "learning_rate": 4.0127867619405794e-05,
2222
+ "loss": 0.1197,
2223
+ "step": 31500
2224
+ },
2225
+ {
2226
+ "epoch": 1.9806944966779492,
2227
+ "grad_norm": 0.025476396083831787,
2228
+ "learning_rate": 4.009652751661025e-05,
2229
+ "loss": 0.1464,
2230
+ "step": 31600
2231
+ },
2232
+ {
2233
+ "epoch": 1.9869625172370564,
2234
+ "grad_norm": 0.023265615105628967,
2235
+ "learning_rate": 4.006518741381472e-05,
2236
+ "loss": 0.1475,
2237
+ "step": 31700
2238
+ },
2239
+ {
2240
+ "epoch": 1.993230537796164,
2241
+ "grad_norm": 0.005244415253400803,
2242
+ "learning_rate": 4.003384731101919e-05,
2243
+ "loss": 0.1118,
2244
+ "step": 31800
2245
+ },
2246
+ {
2247
+ "epoch": 1.9994985583552713,
2248
+ "grad_norm": 0.0228890310972929,
2249
+ "learning_rate": 4.0002507208223644e-05,
2250
+ "loss": 0.1351,
2251
+ "step": 31900
2252
+ },
2253
+ {
2254
+ "epoch": 2.0,
2255
+ "eval_f1": 0.9593731449578206,
2256
+ "eval_loss": 0.2004200518131256,
2257
+ "eval_runtime": 46.5064,
2258
+ "eval_samples_per_second": 304.926,
2259
+ "eval_steps_per_second": 38.124,
2260
+ "step": 31908
2261
+ },
2262
+ {
2263
+ "epoch": 2.005766578914379,
2264
+ "grad_norm": 1.752765417098999,
2265
+ "learning_rate": 3.997116710542811e-05,
2266
+ "loss": 0.095,
2267
+ "step": 32000
2268
+ },
2269
+ {
2270
+ "epoch": 2.0120345994734863,
2271
+ "grad_norm": 0.015561070293188095,
2272
+ "learning_rate": 3.9939827002632565e-05,
2273
+ "loss": 0.0528,
2274
+ "step": 32100
2275
+ },
2276
+ {
2277
+ "epoch": 2.0183026200325935,
2278
+ "grad_norm": 0.008636975660920143,
2279
+ "learning_rate": 3.9908486899837036e-05,
2280
+ "loss": 0.0472,
2281
+ "step": 32200
2282
+ },
2283
+ {
2284
+ "epoch": 2.024570640591701,
2285
+ "grad_norm": 0.039465419948101044,
2286
+ "learning_rate": 3.98771467970415e-05,
2287
+ "loss": 0.0584,
2288
+ "step": 32300
2289
+ },
2290
+ {
2291
+ "epoch": 2.0308386611508085,
2292
+ "grad_norm": 0.01176067441701889,
2293
+ "learning_rate": 3.984580669424596e-05,
2294
+ "loss": 0.0716,
2295
+ "step": 32400
2296
+ },
2297
+ {
2298
+ "epoch": 2.037106681709916,
2299
+ "grad_norm": 0.01852802000939846,
2300
+ "learning_rate": 3.981446659145042e-05,
2301
+ "loss": 0.0746,
2302
+ "step": 32500
2303
+ },
2304
+ {
2305
+ "epoch": 2.0433747022690234,
2306
+ "grad_norm": 0.11856148391962051,
2307
+ "learning_rate": 3.9783126488654886e-05,
2308
+ "loss": 0.0442,
2309
+ "step": 32600
2310
+ },
2311
+ {
2312
+ "epoch": 2.049642722828131,
2313
+ "grad_norm": 0.005875643342733383,
2314
+ "learning_rate": 3.975178638585934e-05,
2315
+ "loss": 0.1037,
2316
+ "step": 32700
2317
+ },
2318
+ {
2319
+ "epoch": 2.0559107433872383,
2320
+ "grad_norm": 0.8473520874977112,
2321
+ "learning_rate": 3.9720446283063814e-05,
2322
+ "loss": 0.0918,
2323
+ "step": 32800
2324
+ },
2325
+ {
2326
+ "epoch": 2.0621787639463456,
2327
+ "grad_norm": 0.027008237317204475,
2328
+ "learning_rate": 3.968910618026827e-05,
2329
+ "loss": 0.1079,
2330
+ "step": 32900
2331
+ },
2332
+ {
2333
+ "epoch": 2.0684467845054533,
2334
+ "grad_norm": 0.016751717776060104,
2335
+ "learning_rate": 3.9657766077472736e-05,
2336
+ "loss": 0.0849,
2337
+ "step": 33000
2338
+ },
2339
+ {
2340
+ "epoch": 2.0747148050645605,
2341
+ "grad_norm": 4.002385139465332,
2342
+ "learning_rate": 3.96264259746772e-05,
2343
+ "loss": 0.0566,
2344
+ "step": 33100
2345
+ },
2346
+ {
2347
+ "epoch": 2.080982825623668,
2348
+ "grad_norm": 0.008037238381803036,
2349
+ "learning_rate": 3.959508587188166e-05,
2350
+ "loss": 0.0456,
2351
+ "step": 33200
2352
+ },
2353
+ {
2354
+ "epoch": 2.0872508461827755,
2355
+ "grad_norm": 0.6050384640693665,
2356
+ "learning_rate": 3.956374576908613e-05,
2357
+ "loss": 0.0381,
2358
+ "step": 33300
2359
+ },
2360
+ {
2361
+ "epoch": 2.0935188667418827,
2362
+ "grad_norm": 0.024053404107689857,
2363
+ "learning_rate": 3.953240566629059e-05,
2364
+ "loss": 0.0905,
2365
+ "step": 33400
2366
+ },
2367
+ {
2368
+ "epoch": 2.0997868873009904,
2369
+ "grad_norm": 0.007491984870284796,
2370
+ "learning_rate": 3.950106556349505e-05,
2371
+ "loss": 0.0497,
2372
+ "step": 33500
2373
+ },
2374
+ {
2375
+ "epoch": 2.1060549078600976,
2376
+ "grad_norm": 18.2802734375,
2377
+ "learning_rate": 3.946972546069951e-05,
2378
+ "loss": 0.0846,
2379
+ "step": 33600
2380
+ },
2381
+ {
2382
+ "epoch": 2.1123229284192053,
2383
+ "grad_norm": 0.007532674353569746,
2384
+ "learning_rate": 3.943838535790397e-05,
2385
+ "loss": 0.0959,
2386
+ "step": 33700
2387
+ },
2388
+ {
2389
+ "epoch": 2.1185909489783126,
2390
+ "grad_norm": 0.030742375180125237,
2391
+ "learning_rate": 3.9407045255108435e-05,
2392
+ "loss": 0.0926,
2393
+ "step": 33800
2394
+ },
2395
+ {
2396
+ "epoch": 2.1248589695374203,
2397
+ "grad_norm": 0.017789393663406372,
2398
+ "learning_rate": 3.9375705152312906e-05,
2399
+ "loss": 0.0713,
2400
+ "step": 33900
2401
+ },
2402
+ {
2403
+ "epoch": 2.1311269900965275,
2404
+ "grad_norm": 0.013687222264707088,
2405
+ "learning_rate": 3.934436504951736e-05,
2406
+ "loss": 0.0683,
2407
+ "step": 34000
2408
+ },
2409
+ {
2410
+ "epoch": 2.1373950106556348,
2411
+ "grad_norm": 0.04924164339900017,
2412
+ "learning_rate": 3.931302494672183e-05,
2413
+ "loss": 0.0751,
2414
+ "step": 34100
2415
+ },
2416
+ {
2417
+ "epoch": 2.1436630312147424,
2418
+ "grad_norm": 0.08258863538503647,
2419
+ "learning_rate": 3.928168484392629e-05,
2420
+ "loss": 0.0641,
2421
+ "step": 34200
2422
+ },
2423
+ {
2424
+ "epoch": 2.1499310517738497,
2425
+ "grad_norm": 0.0224623903632164,
2426
+ "learning_rate": 3.925034474113075e-05,
2427
+ "loss": 0.1167,
2428
+ "step": 34300
2429
+ },
2430
+ {
2431
+ "epoch": 2.1561990723329574,
2432
+ "grad_norm": 0.0296242143958807,
2433
+ "learning_rate": 3.921900463833522e-05,
2434
+ "loss": 0.0796,
2435
+ "step": 34400
2436
+ },
2437
+ {
2438
+ "epoch": 2.1624670928920646,
2439
+ "grad_norm": 0.062432464212179184,
2440
+ "learning_rate": 3.9187664535539683e-05,
2441
+ "loss": 0.0708,
2442
+ "step": 34500
2443
+ },
2444
+ {
2445
+ "epoch": 2.1687351134511723,
2446
+ "grad_norm": 0.004165360238403082,
2447
+ "learning_rate": 3.915632443274414e-05,
2448
+ "loss": 0.0653,
2449
+ "step": 34600
2450
+ },
2451
+ {
2452
+ "epoch": 2.1750031340102796,
2453
+ "grad_norm": 0.004024056252092123,
2454
+ "learning_rate": 3.9124984329948605e-05,
2455
+ "loss": 0.0702,
2456
+ "step": 34700
2457
+ },
2458
+ {
2459
+ "epoch": 2.181271154569387,
2460
+ "grad_norm": 0.019855454564094543,
2461
+ "learning_rate": 3.909364422715306e-05,
2462
+ "loss": 0.0693,
2463
+ "step": 34800
2464
+ },
2465
+ {
2466
+ "epoch": 2.1875391751284945,
2467
+ "grad_norm": 0.05669284239411354,
2468
+ "learning_rate": 3.9062304124357526e-05,
2469
+ "loss": 0.0853,
2470
+ "step": 34900
2471
+ },
2472
+ {
2473
+ "epoch": 2.1938071956876017,
2474
+ "grad_norm": 0.0027710208669304848,
2475
+ "learning_rate": 3.9030964021562e-05,
2476
+ "loss": 0.0746,
2477
+ "step": 35000
2478
+ },
2479
+ {
2480
+ "epoch": 2.2000752162467094,
2481
+ "grad_norm": 0.018983645364642143,
2482
+ "learning_rate": 3.8999623918766455e-05,
2483
+ "loss": 0.1337,
2484
+ "step": 35100
2485
+ },
2486
+ {
2487
+ "epoch": 2.2063432368058167,
2488
+ "grad_norm": 0.030805960297584534,
2489
+ "learning_rate": 3.896828381597092e-05,
2490
+ "loss": 0.1038,
2491
+ "step": 35200
2492
+ },
2493
+ {
2494
+ "epoch": 2.212611257364924,
2495
+ "grad_norm": 0.01616552099585533,
2496
+ "learning_rate": 3.893694371317538e-05,
2497
+ "loss": 0.1092,
2498
+ "step": 35300
2499
+ },
2500
+ {
2501
+ "epoch": 2.2188792779240316,
2502
+ "grad_norm": 0.022278735414147377,
2503
+ "learning_rate": 3.890560361037984e-05,
2504
+ "loss": 0.0506,
2505
+ "step": 35400
2506
+ },
2507
+ {
2508
+ "epoch": 2.225147298483139,
2509
+ "grad_norm": 0.014077126048505306,
2510
+ "learning_rate": 3.887426350758431e-05,
2511
+ "loss": 0.0601,
2512
+ "step": 35500
2513
+ },
2514
+ {
2515
+ "epoch": 2.2314153190422465,
2516
+ "grad_norm": 0.006781439762562513,
2517
+ "learning_rate": 3.884292340478877e-05,
2518
+ "loss": 0.0535,
2519
+ "step": 35600
2520
+ },
2521
+ {
2522
+ "epoch": 2.237683339601354,
2523
+ "grad_norm": 0.030124608427286148,
2524
+ "learning_rate": 3.881158330199323e-05,
2525
+ "loss": 0.0789,
2526
+ "step": 35700
2527
+ },
2528
+ {
2529
+ "epoch": 2.2439513601604615,
2530
+ "grad_norm": 0.07032699137926102,
2531
+ "learning_rate": 3.8780243199197696e-05,
2532
+ "loss": 0.0812,
2533
+ "step": 35800
2534
+ },
2535
+ {
2536
+ "epoch": 2.2502193807195687,
2537
+ "grad_norm": 0.03821179270744324,
2538
+ "learning_rate": 3.8748903096402154e-05,
2539
+ "loss": 0.0912,
2540
+ "step": 35900
2541
+ },
2542
+ {
2543
+ "epoch": 2.256487401278676,
2544
+ "grad_norm": 27.029489517211914,
2545
+ "learning_rate": 3.871756299360662e-05,
2546
+ "loss": 0.0908,
2547
+ "step": 36000
2548
+ },
2549
+ {
2550
+ "epoch": 2.2627554218377837,
2551
+ "grad_norm": 0.05968330428004265,
2552
+ "learning_rate": 3.868622289081109e-05,
2553
+ "loss": 0.0867,
2554
+ "step": 36100
2555
+ },
2556
+ {
2557
+ "epoch": 2.269023442396891,
2558
+ "grad_norm": 0.05663014203310013,
2559
+ "learning_rate": 3.8654882788015546e-05,
2560
+ "loss": 0.1178,
2561
+ "step": 36200
2562
+ },
2563
+ {
2564
+ "epoch": 2.2752914629559986,
2565
+ "grad_norm": 0.04175253212451935,
2566
+ "learning_rate": 3.862354268522001e-05,
2567
+ "loss": 0.0605,
2568
+ "step": 36300
2569
+ },
2570
+ {
2571
+ "epoch": 2.281559483515106,
2572
+ "grad_norm": 0.030418751761317253,
2573
+ "learning_rate": 3.8592202582424474e-05,
2574
+ "loss": 0.1176,
2575
+ "step": 36400
2576
+ },
2577
+ {
2578
+ "epoch": 2.2878275040742135,
2579
+ "grad_norm": 0.013122400268912315,
2580
+ "learning_rate": 3.856086247962893e-05,
2581
+ "loss": 0.0679,
2582
+ "step": 36500
2583
+ },
2584
+ {
2585
+ "epoch": 2.294095524633321,
2586
+ "grad_norm": 0.009739202447235584,
2587
+ "learning_rate": 3.8529522376833396e-05,
2588
+ "loss": 0.0451,
2589
+ "step": 36600
2590
+ },
2591
+ {
2592
+ "epoch": 2.300363545192428,
2593
+ "grad_norm": 0.11405142396688461,
2594
+ "learning_rate": 3.849818227403786e-05,
2595
+ "loss": 0.0814,
2596
+ "step": 36700
2597
+ },
2598
+ {
2599
+ "epoch": 2.3066315657515357,
2600
+ "grad_norm": 0.22820931673049927,
2601
+ "learning_rate": 3.8466842171242324e-05,
2602
+ "loss": 0.0756,
2603
+ "step": 36800
2604
+ },
2605
+ {
2606
+ "epoch": 2.312899586310643,
2607
+ "grad_norm": 0.051908042281866074,
2608
+ "learning_rate": 3.843550206844679e-05,
2609
+ "loss": 0.0892,
2610
+ "step": 36900
2611
+ },
2612
+ {
2613
+ "epoch": 2.3191676068697507,
2614
+ "grad_norm": 0.0027861667331308126,
2615
+ "learning_rate": 3.8404161965651245e-05,
2616
+ "loss": 0.0343,
2617
+ "step": 37000
2618
+ },
2619
+ {
2620
+ "epoch": 2.325435627428858,
2621
+ "grad_norm": 0.5086230635643005,
2622
+ "learning_rate": 3.837282186285571e-05,
2623
+ "loss": 0.0626,
2624
+ "step": 37100
2625
+ },
2626
+ {
2627
+ "epoch": 2.3317036479879656,
2628
+ "grad_norm": 15.515472412109375,
2629
+ "learning_rate": 3.834148176006018e-05,
2630
+ "loss": 0.0835,
2631
+ "step": 37200
2632
+ },
2633
+ {
2634
+ "epoch": 2.337971668547073,
2635
+ "grad_norm": 19.288026809692383,
2636
+ "learning_rate": 3.831014165726464e-05,
2637
+ "loss": 0.0599,
2638
+ "step": 37300
2639
+ },
2640
+ {
2641
+ "epoch": 2.34423968910618,
2642
+ "grad_norm": 0.016877690330147743,
2643
+ "learning_rate": 3.82788015544691e-05,
2644
+ "loss": 0.0452,
2645
+ "step": 37400
2646
+ },
2647
+ {
2648
+ "epoch": 2.3505077096652878,
2649
+ "grad_norm": 0.017148835584521294,
2650
+ "learning_rate": 3.824746145167356e-05,
2651
+ "loss": 0.0469,
2652
+ "step": 37500
2653
+ },
2654
+ {
2655
+ "epoch": 2.356775730224395,
2656
+ "grad_norm": 0.027410952374339104,
2657
+ "learning_rate": 3.821612134887802e-05,
2658
+ "loss": 0.0925,
2659
+ "step": 37600
2660
+ },
2661
+ {
2662
+ "epoch": 2.3630437507835027,
2663
+ "grad_norm": 0.0017053181072697043,
2664
+ "learning_rate": 3.818478124608249e-05,
2665
+ "loss": 0.0563,
2666
+ "step": 37700
2667
+ },
2668
+ {
2669
+ "epoch": 2.36931177134261,
2670
+ "grad_norm": 3.3930346965789795,
2671
+ "learning_rate": 3.815344114328695e-05,
2672
+ "loss": 0.081,
2673
+ "step": 37800
2674
+ },
2675
+ {
2676
+ "epoch": 2.3755797919017176,
2677
+ "grad_norm": 2.7775776386260986,
2678
+ "learning_rate": 3.8122101040491415e-05,
2679
+ "loss": 0.0987,
2680
+ "step": 37900
2681
+ },
2682
+ {
2683
+ "epoch": 2.381847812460825,
2684
+ "grad_norm": 40.191810607910156,
2685
+ "learning_rate": 3.809076093769588e-05,
2686
+ "loss": 0.0573,
2687
+ "step": 38000
2688
+ },
2689
+ {
2690
+ "epoch": 2.388115833019932,
2691
+ "grad_norm": 0.00726683996617794,
2692
+ "learning_rate": 3.805942083490034e-05,
2693
+ "loss": 0.0849,
2694
+ "step": 38100
2695
+ },
2696
+ {
2697
+ "epoch": 2.39438385357904,
2698
+ "grad_norm": 0.0060453517362475395,
2699
+ "learning_rate": 3.80280807321048e-05,
2700
+ "loss": 0.0571,
2701
+ "step": 38200
2702
+ },
2703
+ {
2704
+ "epoch": 2.400651874138147,
2705
+ "grad_norm": 0.010360270738601685,
2706
+ "learning_rate": 3.799674062930927e-05,
2707
+ "loss": 0.1031,
2708
+ "step": 38300
2709
+ },
2710
+ {
2711
+ "epoch": 2.4069198946972548,
2712
+ "grad_norm": 0.09773801267147064,
2713
+ "learning_rate": 3.796540052651373e-05,
2714
+ "loss": 0.0702,
2715
+ "step": 38400
2716
+ },
2717
+ {
2718
+ "epoch": 2.413187915256362,
2719
+ "grad_norm": 0.03975152224302292,
2720
+ "learning_rate": 3.793406042371819e-05,
2721
+ "loss": 0.0907,
2722
+ "step": 38500
2723
+ },
2724
+ {
2725
+ "epoch": 2.4194559358154697,
2726
+ "grad_norm": 2.2103185653686523,
2727
+ "learning_rate": 3.790272032092265e-05,
2728
+ "loss": 0.0747,
2729
+ "step": 38600
2730
+ },
2731
+ {
2732
+ "epoch": 2.425723956374577,
2733
+ "grad_norm": 0.008638462983071804,
2734
+ "learning_rate": 3.7871380218127115e-05,
2735
+ "loss": 0.0699,
2736
+ "step": 38700
2737
+ },
2738
+ {
2739
+ "epoch": 2.431991976933684,
2740
+ "grad_norm": 0.027898641303181648,
2741
+ "learning_rate": 3.784004011533158e-05,
2742
+ "loss": 0.0952,
2743
+ "step": 38800
2744
+ },
2745
+ {
2746
+ "epoch": 2.438259997492792,
2747
+ "grad_norm": 0.015264123678207397,
2748
+ "learning_rate": 3.780870001253604e-05,
2749
+ "loss": 0.0529,
2750
+ "step": 38900
2751
+ },
2752
+ {
2753
+ "epoch": 2.444528018051899,
2754
+ "grad_norm": 0.23222191631793976,
2755
+ "learning_rate": 3.777735990974051e-05,
2756
+ "loss": 0.0952,
2757
+ "step": 39000
2758
+ },
2759
+ {
2760
+ "epoch": 2.450796038611007,
2761
+ "grad_norm": 0.02441653236746788,
2762
+ "learning_rate": 3.774601980694497e-05,
2763
+ "loss": 0.099,
2764
+ "step": 39100
2765
+ },
2766
+ {
2767
+ "epoch": 2.457064059170114,
2768
+ "grad_norm": 0.024442043155431747,
2769
+ "learning_rate": 3.771467970414943e-05,
2770
+ "loss": 0.0749,
2771
+ "step": 39200
2772
+ },
2773
+ {
2774
+ "epoch": 2.4633320797292217,
2775
+ "grad_norm": 0.09841648489236832,
2776
+ "learning_rate": 3.768333960135389e-05,
2777
+ "loss": 0.0856,
2778
+ "step": 39300
2779
+ },
2780
+ {
2781
+ "epoch": 2.469600100288329,
2782
+ "grad_norm": 0.002874793019145727,
2783
+ "learning_rate": 3.765199949855836e-05,
2784
+ "loss": 0.0586,
2785
+ "step": 39400
2786
+ },
2787
+ {
2788
+ "epoch": 2.4758681208474362,
2789
+ "grad_norm": 0.00998006109148264,
2790
+ "learning_rate": 3.762065939576282e-05,
2791
+ "loss": 0.0746,
2792
+ "step": 39500
2793
+ },
2794
+ {
2795
+ "epoch": 2.482136141406544,
2796
+ "grad_norm": 0.010123957879841328,
2797
+ "learning_rate": 3.7589319292967285e-05,
2798
+ "loss": 0.0429,
2799
+ "step": 39600
2800
+ },
2801
+ {
2802
+ "epoch": 2.488404161965651,
2803
+ "grad_norm": 0.004430798348039389,
2804
+ "learning_rate": 3.755797919017174e-05,
2805
+ "loss": 0.074,
2806
+ "step": 39700
2807
+ },
2808
+ {
2809
+ "epoch": 2.494672182524759,
2810
+ "grad_norm": 0.05416274443268776,
2811
+ "learning_rate": 3.7526639087376206e-05,
2812
+ "loss": 0.0738,
2813
+ "step": 39800
2814
+ },
2815
+ {
2816
+ "epoch": 2.500940203083866,
2817
+ "grad_norm": 0.03083961270749569,
2818
+ "learning_rate": 3.749529898458067e-05,
2819
+ "loss": 0.1021,
2820
+ "step": 39900
2821
+ },
2822
+ {
2823
+ "epoch": 2.507208223642974,
2824
+ "grad_norm": 18.929054260253906,
2825
+ "learning_rate": 3.7463958881785134e-05,
2826
+ "loss": 0.0876,
2827
+ "step": 40000
2828
+ },
2829
+ {
2830
+ "epoch": 2.513476244202081,
2831
+ "grad_norm": 0.0038987034931778908,
2832
+ "learning_rate": 3.74326187789896e-05,
2833
+ "loss": 0.097,
2834
+ "step": 40100
2835
+ },
2836
+ {
2837
+ "epoch": 2.5197442647611883,
2838
+ "grad_norm": 0.6230727434158325,
2839
+ "learning_rate": 3.7401278676194056e-05,
2840
+ "loss": 0.082,
2841
+ "step": 40200
2842
+ },
2843
+ {
2844
+ "epoch": 2.526012285320296,
2845
+ "grad_norm": 0.029838476330041885,
2846
+ "learning_rate": 3.736993857339852e-05,
2847
+ "loss": 0.0909,
2848
+ "step": 40300
2849
+ },
2850
+ {
2851
+ "epoch": 2.5322803058794032,
2852
+ "grad_norm": 0.11969407647848129,
2853
+ "learning_rate": 3.7338598470602984e-05,
2854
+ "loss": 0.032,
2855
+ "step": 40400
2856
+ },
2857
+ {
2858
+ "epoch": 2.5385483264385105,
2859
+ "grad_norm": 8.733318328857422,
2860
+ "learning_rate": 3.730725836780745e-05,
2861
+ "loss": 0.05,
2862
+ "step": 40500
2863
+ },
2864
+ {
2865
+ "epoch": 2.544816346997618,
2866
+ "grad_norm": 0.004856993909925222,
2867
+ "learning_rate": 3.727591826501191e-05,
2868
+ "loss": 0.0687,
2869
+ "step": 40600
2870
+ },
2871
+ {
2872
+ "epoch": 2.551084367556726,
2873
+ "grad_norm": 0.010757598094642162,
2874
+ "learning_rate": 3.7244578162216376e-05,
2875
+ "loss": 0.0689,
2876
+ "step": 40700
2877
+ },
2878
+ {
2879
+ "epoch": 2.557352388115833,
2880
+ "grad_norm": 0.035573601722717285,
2881
+ "learning_rate": 3.7213238059420834e-05,
2882
+ "loss": 0.0571,
2883
+ "step": 40800
2884
+ },
2885
+ {
2886
+ "epoch": 2.5636204086749403,
2887
+ "grad_norm": 0.40876084566116333,
2888
+ "learning_rate": 3.71818979566253e-05,
2889
+ "loss": 0.04,
2890
+ "step": 40900
2891
+ },
2892
+ {
2893
+ "epoch": 2.569888429234048,
2894
+ "grad_norm": 5.089639186859131,
2895
+ "learning_rate": 3.715055785382976e-05,
2896
+ "loss": 0.0527,
2897
+ "step": 41000
2898
+ },
2899
+ {
2900
+ "epoch": 2.5761564497931553,
2901
+ "grad_norm": 0.06109604611992836,
2902
+ "learning_rate": 3.7119217751034226e-05,
2903
+ "loss": 0.0965,
2904
+ "step": 41100
2905
+ },
2906
+ {
2907
+ "epoch": 2.5824244703522625,
2908
+ "grad_norm": 0.1139836385846138,
2909
+ "learning_rate": 3.708787764823869e-05,
2910
+ "loss": 0.1114,
2911
+ "step": 41200
2912
+ },
2913
+ {
2914
+ "epoch": 2.58869249091137,
2915
+ "grad_norm": 0.013192636892199516,
2916
+ "learning_rate": 3.705653754544315e-05,
2917
+ "loss": 0.0919,
2918
+ "step": 41300
2919
+ },
2920
+ {
2921
+ "epoch": 2.5949605114704775,
2922
+ "grad_norm": 0.03195355087518692,
2923
+ "learning_rate": 3.702519744264761e-05,
2924
+ "loss": 0.0687,
2925
+ "step": 41400
2926
+ },
2927
+ {
2928
+ "epoch": 2.601228532029585,
2929
+ "grad_norm": 1.656760334968567,
2930
+ "learning_rate": 3.6993857339852076e-05,
2931
+ "loss": 0.1247,
2932
+ "step": 41500
2933
+ },
2934
+ {
2935
+ "epoch": 2.6074965525886924,
2936
+ "grad_norm": 0.00459561450406909,
2937
+ "learning_rate": 3.696251723705654e-05,
2938
+ "loss": 0.0656,
2939
+ "step": 41600
2940
+ },
2941
+ {
2942
+ "epoch": 2.6137645731478,
2943
+ "grad_norm": 0.11038025468587875,
2944
+ "learning_rate": 3.6931177134261004e-05,
2945
+ "loss": 0.0795,
2946
+ "step": 41700
2947
+ },
2948
+ {
2949
+ "epoch": 2.6200325937069073,
2950
+ "grad_norm": 0.1765427589416504,
2951
+ "learning_rate": 3.689983703146547e-05,
2952
+ "loss": 0.0859,
2953
+ "step": 41800
2954
+ },
2955
+ {
2956
+ "epoch": 2.6263006142660146,
2957
+ "grad_norm": 0.014666881412267685,
2958
+ "learning_rate": 3.6868496928669925e-05,
2959
+ "loss": 0.0864,
2960
+ "step": 41900
2961
+ },
2962
+ {
2963
+ "epoch": 2.6325686348251223,
2964
+ "grad_norm": 0.014499700628221035,
2965
+ "learning_rate": 3.683715682587439e-05,
2966
+ "loss": 0.0658,
2967
+ "step": 42000
2968
+ },
2969
+ {
2970
+ "epoch": 2.6388366553842295,
2971
+ "grad_norm": 0.01551514770835638,
2972
+ "learning_rate": 3.6805816723078854e-05,
2973
+ "loss": 0.0351,
2974
+ "step": 42100
2975
+ },
2976
+ {
2977
+ "epoch": 2.645104675943337,
2978
+ "grad_norm": 0.009609305299818516,
2979
+ "learning_rate": 3.677447662028332e-05,
2980
+ "loss": 0.1173,
2981
+ "step": 42200
2982
+ },
2983
+ {
2984
+ "epoch": 2.6513726965024444,
2985
+ "grad_norm": 0.019696684554219246,
2986
+ "learning_rate": 3.674313651748778e-05,
2987
+ "loss": 0.0946,
2988
+ "step": 42300
2989
+ },
2990
+ {
2991
+ "epoch": 2.657640717061552,
2992
+ "grad_norm": 0.011365796439349651,
2993
+ "learning_rate": 3.671179641469224e-05,
2994
+ "loss": 0.061,
2995
+ "step": 42400
2996
+ },
2997
+ {
2998
+ "epoch": 2.6639087376206594,
2999
+ "grad_norm": 0.0028541130013763905,
3000
+ "learning_rate": 3.66804563118967e-05,
3001
+ "loss": 0.0637,
3002
+ "step": 42500
3003
+ },
3004
+ {
3005
+ "epoch": 2.6701767581797666,
3006
+ "grad_norm": 0.08456343412399292,
3007
+ "learning_rate": 3.664911620910117e-05,
3008
+ "loss": 0.0959,
3009
+ "step": 42600
3010
+ },
3011
+ {
3012
+ "epoch": 2.6764447787388743,
3013
+ "grad_norm": 1.1794720888137817,
3014
+ "learning_rate": 3.661777610630563e-05,
3015
+ "loss": 0.0638,
3016
+ "step": 42700
3017
+ },
3018
+ {
3019
+ "epoch": 2.6827127992979816,
3020
+ "grad_norm": 0.008910051546990871,
3021
+ "learning_rate": 3.6586436003510095e-05,
3022
+ "loss": 0.1023,
3023
+ "step": 42800
3024
+ },
3025
+ {
3026
+ "epoch": 2.6889808198570893,
3027
+ "grad_norm": 0.10396095365285873,
3028
+ "learning_rate": 3.655509590071456e-05,
3029
+ "loss": 0.0964,
3030
+ "step": 42900
3031
+ },
3032
+ {
3033
+ "epoch": 2.6952488404161965,
3034
+ "grad_norm": 0.006989391054958105,
3035
+ "learning_rate": 3.652375579791902e-05,
3036
+ "loss": 0.0608,
3037
+ "step": 43000
3038
+ },
3039
+ {
3040
+ "epoch": 2.701516860975304,
3041
+ "grad_norm": 0.05438686162233353,
3042
+ "learning_rate": 3.649241569512348e-05,
3043
+ "loss": 0.0974,
3044
+ "step": 43100
3045
+ },
3046
+ {
3047
+ "epoch": 2.7077848815344114,
3048
+ "grad_norm": 0.006107168737798929,
3049
+ "learning_rate": 3.6461075592327945e-05,
3050
+ "loss": 0.093,
3051
+ "step": 43200
3052
+ },
3053
+ {
3054
+ "epoch": 2.7140529020935187,
3055
+ "grad_norm": 8.148849487304688,
3056
+ "learning_rate": 3.642973548953241e-05,
3057
+ "loss": 0.0816,
3058
+ "step": 43300
3059
+ },
3060
+ {
3061
+ "epoch": 2.7203209226526264,
3062
+ "grad_norm": 0.1799936592578888,
3063
+ "learning_rate": 3.639839538673687e-05,
3064
+ "loss": 0.0944,
3065
+ "step": 43400
3066
+ },
3067
+ {
3068
+ "epoch": 2.7265889432117336,
3069
+ "grad_norm": 0.009076522663235664,
3070
+ "learning_rate": 3.636705528394133e-05,
3071
+ "loss": 0.0843,
3072
+ "step": 43500
3073
+ },
3074
+ {
3075
+ "epoch": 2.7328569637708413,
3076
+ "grad_norm": 16.197790145874023,
3077
+ "learning_rate": 3.6335715181145795e-05,
3078
+ "loss": 0.0849,
3079
+ "step": 43600
3080
+ },
3081
+ {
3082
+ "epoch": 2.7391249843299486,
3083
+ "grad_norm": 0.012713102623820305,
3084
+ "learning_rate": 3.630437507835026e-05,
3085
+ "loss": 0.0668,
3086
+ "step": 43700
3087
+ },
3088
+ {
3089
+ "epoch": 2.7453930048890562,
3090
+ "grad_norm": 0.019433556124567986,
3091
+ "learning_rate": 3.627303497555472e-05,
3092
+ "loss": 0.0686,
3093
+ "step": 43800
3094
+ },
3095
+ {
3096
+ "epoch": 2.7516610254481635,
3097
+ "grad_norm": 5.01052188873291,
3098
+ "learning_rate": 3.624169487275919e-05,
3099
+ "loss": 0.0458,
3100
+ "step": 43900
3101
+ },
3102
+ {
3103
+ "epoch": 2.7579290460072707,
3104
+ "grad_norm": 0.02707609347999096,
3105
+ "learning_rate": 3.6210354769963644e-05,
3106
+ "loss": 0.0676,
3107
+ "step": 44000
3108
+ },
3109
+ {
3110
+ "epoch": 2.7641970665663784,
3111
+ "grad_norm": 0.006899044383317232,
3112
+ "learning_rate": 3.617901466716811e-05,
3113
+ "loss": 0.1024,
3114
+ "step": 44100
3115
+ },
3116
+ {
3117
+ "epoch": 2.7704650871254857,
3118
+ "grad_norm": 0.13500969111919403,
3119
+ "learning_rate": 3.614767456437257e-05,
3120
+ "loss": 0.0909,
3121
+ "step": 44200
3122
+ },
3123
+ {
3124
+ "epoch": 2.7767331076845934,
3125
+ "grad_norm": 0.2365235686302185,
3126
+ "learning_rate": 3.611633446157704e-05,
3127
+ "loss": 0.0627,
3128
+ "step": 44300
3129
+ },
3130
+ {
3131
+ "epoch": 2.7830011282437006,
3132
+ "grad_norm": 0.03015589341521263,
3133
+ "learning_rate": 3.60849943587815e-05,
3134
+ "loss": 0.0684,
3135
+ "step": 44400
3136
+ },
3137
+ {
3138
+ "epoch": 2.7892691488028083,
3139
+ "grad_norm": 0.06196145713329315,
3140
+ "learning_rate": 3.6053654255985965e-05,
3141
+ "loss": 0.0604,
3142
+ "step": 44500
3143
+ },
3144
+ {
3145
+ "epoch": 2.7955371693619155,
3146
+ "grad_norm": 0.12457844614982605,
3147
+ "learning_rate": 3.602231415319042e-05,
3148
+ "loss": 0.0829,
3149
+ "step": 44600
3150
+ },
3151
+ {
3152
+ "epoch": 2.801805189921023,
3153
+ "grad_norm": 0.014878248795866966,
3154
+ "learning_rate": 3.5990974050394886e-05,
3155
+ "loss": 0.0819,
3156
+ "step": 44700
3157
+ },
3158
+ {
3159
+ "epoch": 2.8080732104801305,
3160
+ "grad_norm": 3.6133410930633545,
3161
+ "learning_rate": 3.595963394759935e-05,
3162
+ "loss": 0.0685,
3163
+ "step": 44800
3164
+ },
3165
+ {
3166
+ "epoch": 2.8143412310392377,
3167
+ "grad_norm": 4.534252166748047,
3168
+ "learning_rate": 3.5928293844803814e-05,
3169
+ "loss": 0.0906,
3170
+ "step": 44900
3171
+ },
3172
+ {
3173
+ "epoch": 2.820609251598345,
3174
+ "grad_norm": 11.92259407043457,
3175
+ "learning_rate": 3.589695374200828e-05,
3176
+ "loss": 0.1371,
3177
+ "step": 45000
3178
+ },
3179
+ {
3180
+ "epoch": 2.8268772721574527,
3181
+ "grad_norm": 0.009200111962854862,
3182
+ "learning_rate": 3.5865613639212736e-05,
3183
+ "loss": 0.0614,
3184
+ "step": 45100
3185
+ },
3186
+ {
3187
+ "epoch": 2.8331452927165603,
3188
+ "grad_norm": 0.002684760605916381,
3189
+ "learning_rate": 3.58342735364172e-05,
3190
+ "loss": 0.0567,
3191
+ "step": 45200
3192
+ },
3193
+ {
3194
+ "epoch": 2.8394133132756676,
3195
+ "grad_norm": 6.500457286834717,
3196
+ "learning_rate": 3.5802933433621664e-05,
3197
+ "loss": 0.0957,
3198
+ "step": 45300
3199
+ },
3200
+ {
3201
+ "epoch": 2.845681333834775,
3202
+ "grad_norm": 0.3313663601875305,
3203
+ "learning_rate": 3.577159333082613e-05,
3204
+ "loss": 0.1325,
3205
+ "step": 45400
3206
+ },
3207
+ {
3208
+ "epoch": 2.8519493543938825,
3209
+ "grad_norm": 0.026840632781386375,
3210
+ "learning_rate": 3.574025322803059e-05,
3211
+ "loss": 0.0652,
3212
+ "step": 45500
3213
+ },
3214
+ {
3215
+ "epoch": 2.8582173749529898,
3216
+ "grad_norm": 0.09741576015949249,
3217
+ "learning_rate": 3.5708913125235056e-05,
3218
+ "loss": 0.0825,
3219
+ "step": 45600
3220
+ },
3221
+ {
3222
+ "epoch": 2.864485395512097,
3223
+ "grad_norm": 0.31416431069374084,
3224
+ "learning_rate": 3.5677573022439514e-05,
3225
+ "loss": 0.0796,
3226
+ "step": 45700
3227
+ },
3228
+ {
3229
+ "epoch": 2.8707534160712047,
3230
+ "grad_norm": 0.1350662261247635,
3231
+ "learning_rate": 3.564623291964398e-05,
3232
+ "loss": 0.0711,
3233
+ "step": 45800
3234
+ },
3235
+ {
3236
+ "epoch": 2.8770214366303124,
3237
+ "grad_norm": 0.02628297358751297,
3238
+ "learning_rate": 3.561489281684844e-05,
3239
+ "loss": 0.0867,
3240
+ "step": 45900
3241
+ },
3242
+ {
3243
+ "epoch": 2.8832894571894196,
3244
+ "grad_norm": 0.004932702984660864,
3245
+ "learning_rate": 3.5583552714052906e-05,
3246
+ "loss": 0.0809,
3247
+ "step": 46000
3248
+ },
3249
+ {
3250
+ "epoch": 2.889557477748527,
3251
+ "grad_norm": 0.09680982679128647,
3252
+ "learning_rate": 3.555221261125737e-05,
3253
+ "loss": 0.092,
3254
+ "step": 46100
3255
+ },
3256
+ {
3257
+ "epoch": 2.8958254983076346,
3258
+ "grad_norm": 0.060553718358278275,
3259
+ "learning_rate": 3.552087250846183e-05,
3260
+ "loss": 0.1095,
3261
+ "step": 46200
3262
+ },
3263
+ {
3264
+ "epoch": 2.902093518866742,
3265
+ "grad_norm": 0.011483977548778057,
3266
+ "learning_rate": 3.548953240566629e-05,
3267
+ "loss": 0.0465,
3268
+ "step": 46300
3269
+ },
3270
+ {
3271
+ "epoch": 2.908361539425849,
3272
+ "grad_norm": 0.073598712682724,
3273
+ "learning_rate": 3.5458192302870756e-05,
3274
+ "loss": 0.0714,
3275
+ "step": 46400
3276
+ },
3277
+ {
3278
+ "epoch": 2.9146295599849568,
3279
+ "grad_norm": 0.029353119432926178,
3280
+ "learning_rate": 3.542685220007522e-05,
3281
+ "loss": 0.0627,
3282
+ "step": 46500
3283
+ },
3284
+ {
3285
+ "epoch": 2.9208975805440645,
3286
+ "grad_norm": 0.006514715496450663,
3287
+ "learning_rate": 3.5395512097279684e-05,
3288
+ "loss": 0.0898,
3289
+ "step": 46600
3290
+ },
3291
+ {
3292
+ "epoch": 2.9271656011031717,
3293
+ "grad_norm": 0.031139971688389778,
3294
+ "learning_rate": 3.536417199448414e-05,
3295
+ "loss": 0.0594,
3296
+ "step": 46700
3297
+ },
3298
+ {
3299
+ "epoch": 2.933433621662279,
3300
+ "grad_norm": 0.01661308854818344,
3301
+ "learning_rate": 3.5332831891688605e-05,
3302
+ "loss": 0.1293,
3303
+ "step": 46800
3304
+ },
3305
+ {
3306
+ "epoch": 2.9397016422213866,
3307
+ "grad_norm": 0.08889225125312805,
3308
+ "learning_rate": 3.530149178889307e-05,
3309
+ "loss": 0.0453,
3310
+ "step": 46900
3311
+ },
3312
+ {
3313
+ "epoch": 2.945969662780494,
3314
+ "grad_norm": 0.0317188985645771,
3315
+ "learning_rate": 3.527015168609753e-05,
3316
+ "loss": 0.0557,
3317
+ "step": 47000
3318
+ },
3319
+ {
3320
+ "epoch": 2.952237683339601,
3321
+ "grad_norm": 0.025686800479888916,
3322
+ "learning_rate": 3.5238811583302e-05,
3323
+ "loss": 0.0944,
3324
+ "step": 47100
3325
+ },
3326
+ {
3327
+ "epoch": 2.958505703898709,
3328
+ "grad_norm": 0.020531490445137024,
3329
+ "learning_rate": 3.520747148050646e-05,
3330
+ "loss": 0.0578,
3331
+ "step": 47200
3332
+ },
3333
+ {
3334
+ "epoch": 2.964773724457816,
3335
+ "grad_norm": 0.8992320895195007,
3336
+ "learning_rate": 3.517613137771092e-05,
3337
+ "loss": 0.0752,
3338
+ "step": 47300
3339
+ },
3340
+ {
3341
+ "epoch": 2.9710417450169238,
3342
+ "grad_norm": 0.14482086896896362,
3343
+ "learning_rate": 3.514479127491538e-05,
3344
+ "loss": 0.1128,
3345
+ "step": 47400
3346
+ },
3347
+ {
3348
+ "epoch": 2.977309765576031,
3349
+ "grad_norm": 0.03547542169690132,
3350
+ "learning_rate": 3.511345117211985e-05,
3351
+ "loss": 0.0353,
3352
+ "step": 47500
3353
+ },
3354
+ {
3355
+ "epoch": 2.9835777861351387,
3356
+ "grad_norm": 1.4999819993972778,
3357
+ "learning_rate": 3.508211106932431e-05,
3358
+ "loss": 0.0638,
3359
+ "step": 47600
3360
+ },
3361
+ {
3362
+ "epoch": 2.989845806694246,
3363
+ "grad_norm": 0.5380005240440369,
3364
+ "learning_rate": 3.5050770966528775e-05,
3365
+ "loss": 0.0846,
3366
+ "step": 47700
3367
+ },
3368
+ {
3369
+ "epoch": 2.996113827253353,
3370
+ "grad_norm": 0.09019165486097336,
3371
+ "learning_rate": 3.501943086373323e-05,
3372
+ "loss": 0.141,
3373
+ "step": 47800
3374
+ },
3375
+ {
3376
+ "epoch": 3.0,
3377
+ "eval_f1": 0.9587811491105839,
3378
+ "eval_loss": 0.19986020028591156,
3379
+ "eval_runtime": 46.4942,
3380
+ "eval_samples_per_second": 305.006,
3381
+ "eval_steps_per_second": 38.134,
3382
+ "step": 47862
3383
+ }
3384
+ ],
3385
+ "logging_steps": 100,
3386
+ "max_steps": 159540,
3387
+ "num_input_tokens_seen": 0,
3388
+ "num_train_epochs": 10,
3389
+ "save_steps": 500,
3390
+ "stateful_callbacks": {
3391
+ "TrainerControl": {
3392
+ "args": {
3393
+ "should_epoch_stop": false,
3394
+ "should_evaluate": false,
3395
+ "should_log": false,
3396
+ "should_save": true,
3397
+ "should_training_stop": false
3398
+ },
3399
+ "attributes": {}
3400
+ }
3401
+ },
3402
+ "total_flos": 1.9570980759088435e+17,
3403
+ "train_batch_size": 8,
3404
+ "trial_name": null,
3405
+ "trial_params": null
3406
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bdd97ddbc0953c35acba1ed9f16dbb6d5e2c9bd9d374182dc76ce7ce720c4b15
3
+ size 5368