ErrorAI commited on
Commit
60a168d
·
verified ·
1 Parent(s): 0376130

Training in progress, step 1537, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:54f0eaead6f7bf2a829bacf54d06d5274178a7acd2a4e8d18e60f590c369fab6
3
  size 125040
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:063f306e45e8b39d154dbc7bfc68fde278c659f3c2883d2758099ee159ff24b5
3
  size 125040
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:a43703aea7d99bfc71c31d973ea8fc1bc2cd185a937fc4189d0509a5c86e5f46
3
  size 162868
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:25575660cf81bc26c2811396f3d2d48bbf015d309d37ebe2067b66a905a05767
3
  size 162868
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:4ce6a303290374d7519e933c120f942e73d4d87c9a659cb0dc0b3be5a34515a6
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2c5a44562b89c59a7cfb08b5955ea23594890c2c99652b9f1f1d8d78a0b9bded
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3e55529740f3448b68a0ee9bb7e90d59bc02b4ef93ff1caa5a9dbc756996fdb0
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0ee8dee9cedcd1fe2ff7ecd82756d62d8c60cb522ecedc8de6c7ca59c472201d
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 0.11456060305494942,
5
  "eval_steps": 385,
6
- "global_step": 1155,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -8124,6 +8124,2680 @@
8124
  "eval_samples_per_second": 380.835,
8125
  "eval_steps_per_second": 190.462,
8126
  "step": 1155
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8127
  }
8128
  ],
8129
  "logging_steps": 1,
@@ -8138,12 +10812,12 @@
8138
  "should_evaluate": false,
8139
  "should_log": false,
8140
  "should_save": true,
8141
- "should_training_stop": false
8142
  },
8143
  "attributes": {}
8144
  }
8145
  },
8146
- "total_flos": 11214493581312.0,
8147
  "train_batch_size": 2,
8148
  "trial_name": null,
8149
  "trial_params": null
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 0.15244991073199762,
5
  "eval_steps": 385,
6
+ "global_step": 1537,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
8124
  "eval_samples_per_second": 380.835,
8125
  "eval_steps_per_second": 190.462,
8126
  "step": 1155
8127
+ },
8128
+ {
8129
+ "epoch": 0.11465978972426107,
8130
+ "grad_norm": 1.9147896766662598,
8131
+ "learning_rate": 2.9180297975576364e-05,
8132
+ "loss": 43.2374,
8133
+ "step": 1156
8134
+ },
8135
+ {
8136
+ "epoch": 0.1147589763935727,
8137
+ "grad_norm": 1.8915377855300903,
8138
+ "learning_rate": 2.9035195103899825e-05,
8139
+ "loss": 43.0964,
8140
+ "step": 1157
8141
+ },
8142
+ {
8143
+ "epoch": 0.11485816306288435,
8144
+ "grad_norm": 2.041377305984497,
8145
+ "learning_rate": 2.889039260774018e-05,
8146
+ "loss": 43.2494,
8147
+ "step": 1158
8148
+ },
8149
+ {
8150
+ "epoch": 0.114957349732196,
8151
+ "grad_norm": 2.3205907344818115,
8152
+ "learning_rate": 2.8745891100008683e-05,
8153
+ "loss": 43.4031,
8154
+ "step": 1159
8155
+ },
8156
+ {
8157
+ "epoch": 0.11505653640150763,
8158
+ "grad_norm": 2.3421196937561035,
8159
+ "learning_rate": 2.8601691192342493e-05,
8160
+ "loss": 43.2697,
8161
+ "step": 1160
8162
+ },
8163
+ {
8164
+ "epoch": 0.11515572307081928,
8165
+ "grad_norm": 2.095224380493164,
8166
+ "learning_rate": 2.845779349510227e-05,
8167
+ "loss": 43.666,
8168
+ "step": 1161
8169
+ },
8170
+ {
8171
+ "epoch": 0.11525490974013093,
8172
+ "grad_norm": 2.259864568710327,
8173
+ "learning_rate": 2.83141986173694e-05,
8174
+ "loss": 42.9196,
8175
+ "step": 1162
8176
+ },
8177
+ {
8178
+ "epoch": 0.11535409640944257,
8179
+ "grad_norm": 2.165755033493042,
8180
+ "learning_rate": 2.817090716694363e-05,
8181
+ "loss": 43.5717,
8182
+ "step": 1163
8183
+ },
8184
+ {
8185
+ "epoch": 0.11545328307875422,
8186
+ "grad_norm": 2.1785712242126465,
8187
+ "learning_rate": 2.802791975034024e-05,
8188
+ "loss": 43.2673,
8189
+ "step": 1164
8190
+ },
8191
+ {
8192
+ "epoch": 0.11555246974806586,
8193
+ "grad_norm": 1.9809575080871582,
8194
+ "learning_rate": 2.788523697278773e-05,
8195
+ "loss": 43.2572,
8196
+ "step": 1165
8197
+ },
8198
+ {
8199
+ "epoch": 0.1156516564173775,
8200
+ "grad_norm": 1.791969656944275,
8201
+ "learning_rate": 2.7742859438225055e-05,
8202
+ "loss": 43.4034,
8203
+ "step": 1166
8204
+ },
8205
+ {
8206
+ "epoch": 0.11575084308668915,
8207
+ "grad_norm": 2.295616388320923,
8208
+ "learning_rate": 2.7600787749299263e-05,
8209
+ "loss": 43.4226,
8210
+ "step": 1167
8211
+ },
8212
+ {
8213
+ "epoch": 0.1158500297560008,
8214
+ "grad_norm": 1.8220045566558838,
8215
+ "learning_rate": 2.7459022507362686e-05,
8216
+ "loss": 43.349,
8217
+ "step": 1168
8218
+ },
8219
+ {
8220
+ "epoch": 0.11594921642531243,
8221
+ "grad_norm": 1.9346619844436646,
8222
+ "learning_rate": 2.731756431247072e-05,
8223
+ "loss": 43.2268,
8224
+ "step": 1169
8225
+ },
8226
+ {
8227
+ "epoch": 0.11604840309462408,
8228
+ "grad_norm": 1.8838238716125488,
8229
+ "learning_rate": 2.717641376337895e-05,
8230
+ "loss": 43.0441,
8231
+ "step": 1170
8232
+ },
8233
+ {
8234
+ "epoch": 0.11614758976393573,
8235
+ "grad_norm": 2.1250696182250977,
8236
+ "learning_rate": 2.7035571457540865e-05,
8237
+ "loss": 43.1962,
8238
+ "step": 1171
8239
+ },
8240
+ {
8241
+ "epoch": 0.11624677643324736,
8242
+ "grad_norm": 1.7829358577728271,
8243
+ "learning_rate": 2.6895037991105286e-05,
8244
+ "loss": 43.4272,
8245
+ "step": 1172
8246
+ },
8247
+ {
8248
+ "epoch": 0.11634596310255901,
8249
+ "grad_norm": 1.9922783374786377,
8250
+ "learning_rate": 2.675481395891365e-05,
8251
+ "loss": 43.112,
8252
+ "step": 1173
8253
+ },
8254
+ {
8255
+ "epoch": 0.11644514977187066,
8256
+ "grad_norm": 2.087114095687866,
8257
+ "learning_rate": 2.6614899954497795e-05,
8258
+ "loss": 43.0554,
8259
+ "step": 1174
8260
+ },
8261
+ {
8262
+ "epoch": 0.11654433644118231,
8263
+ "grad_norm": 2.154203414916992,
8264
+ "learning_rate": 2.6475296570077158e-05,
8265
+ "loss": 43.0469,
8266
+ "step": 1175
8267
+ },
8268
+ {
8269
+ "epoch": 0.11664352311049395,
8270
+ "grad_norm": 2.1721832752227783,
8271
+ "learning_rate": 2.6336004396556534e-05,
8272
+ "loss": 43.5545,
8273
+ "step": 1176
8274
+ },
8275
+ {
8276
+ "epoch": 0.1167427097798056,
8277
+ "grad_norm": 1.7544825077056885,
8278
+ "learning_rate": 2.619702402352332e-05,
8279
+ "loss": 43.5061,
8280
+ "step": 1177
8281
+ },
8282
+ {
8283
+ "epoch": 0.11684189644911724,
8284
+ "grad_norm": 2.276806592941284,
8285
+ "learning_rate": 2.6058356039245246e-05,
8286
+ "loss": 43.3631,
8287
+ "step": 1178
8288
+ },
8289
+ {
8290
+ "epoch": 0.11694108311842888,
8291
+ "grad_norm": 1.8149032592773438,
8292
+ "learning_rate": 2.5920001030667684e-05,
8293
+ "loss": 43.539,
8294
+ "step": 1179
8295
+ },
8296
+ {
8297
+ "epoch": 0.11704026978774053,
8298
+ "grad_norm": 2.0274498462677,
8299
+ "learning_rate": 2.5781959583411374e-05,
8300
+ "loss": 43.03,
8301
+ "step": 1180
8302
+ },
8303
+ {
8304
+ "epoch": 0.11713945645705218,
8305
+ "grad_norm": 2.6130144596099854,
8306
+ "learning_rate": 2.564423228176971e-05,
8307
+ "loss": 42.7279,
8308
+ "step": 1181
8309
+ },
8310
+ {
8311
+ "epoch": 0.11723864312636381,
8312
+ "grad_norm": 1.7635635137557983,
8313
+ "learning_rate": 2.5506819708706507e-05,
8314
+ "loss": 43.1984,
8315
+ "step": 1182
8316
+ },
8317
+ {
8318
+ "epoch": 0.11733782979567546,
8319
+ "grad_norm": 2.270341157913208,
8320
+ "learning_rate": 2.5369722445853304e-05,
8321
+ "loss": 43.2886,
8322
+ "step": 1183
8323
+ },
8324
+ {
8325
+ "epoch": 0.11743701646498711,
8326
+ "grad_norm": 2.2385268211364746,
8327
+ "learning_rate": 2.523294107350711e-05,
8328
+ "loss": 43.0718,
8329
+ "step": 1184
8330
+ },
8331
+ {
8332
+ "epoch": 0.11753620313429874,
8333
+ "grad_norm": 2.09205961227417,
8334
+ "learning_rate": 2.5096476170627825e-05,
8335
+ "loss": 43.4038,
8336
+ "step": 1185
8337
+ },
8338
+ {
8339
+ "epoch": 0.1176353898036104,
8340
+ "grad_norm": 1.9170998334884644,
8341
+ "learning_rate": 2.4960328314835745e-05,
8342
+ "loss": 43.4337,
8343
+ "step": 1186
8344
+ },
8345
+ {
8346
+ "epoch": 0.11773457647292204,
8347
+ "grad_norm": 2.0192651748657227,
8348
+ "learning_rate": 2.482449808240931e-05,
8349
+ "loss": 43.3694,
8350
+ "step": 1187
8351
+ },
8352
+ {
8353
+ "epoch": 0.11783376314223368,
8354
+ "grad_norm": 2.1703100204467773,
8355
+ "learning_rate": 2.4688986048282425e-05,
8356
+ "loss": 43.1931,
8357
+ "step": 1188
8358
+ },
8359
+ {
8360
+ "epoch": 0.11793294981154533,
8361
+ "grad_norm": 2.178591728210449,
8362
+ "learning_rate": 2.4553792786042262e-05,
8363
+ "loss": 43.0468,
8364
+ "step": 1189
8365
+ },
8366
+ {
8367
+ "epoch": 0.11803213648085698,
8368
+ "grad_norm": 1.8173599243164062,
8369
+ "learning_rate": 2.4418918867926577e-05,
8370
+ "loss": 43.1974,
8371
+ "step": 1190
8372
+ },
8373
+ {
8374
+ "epoch": 0.11813132315016862,
8375
+ "grad_norm": 2.2965517044067383,
8376
+ "learning_rate": 2.4284364864821563e-05,
8377
+ "loss": 43.2255,
8378
+ "step": 1191
8379
+ },
8380
+ {
8381
+ "epoch": 0.11823050981948026,
8382
+ "grad_norm": 2.666412115097046,
8383
+ "learning_rate": 2.4150131346259197e-05,
8384
+ "loss": 43.412,
8385
+ "step": 1192
8386
+ },
8387
+ {
8388
+ "epoch": 0.11832969648879191,
8389
+ "grad_norm": 2.0623011589050293,
8390
+ "learning_rate": 2.4016218880414998e-05,
8391
+ "loss": 42.8318,
8392
+ "step": 1193
8393
+ },
8394
+ {
8395
+ "epoch": 0.11842888315810356,
8396
+ "grad_norm": 2.0412418842315674,
8397
+ "learning_rate": 2.388262803410547e-05,
8398
+ "loss": 43.3501,
8399
+ "step": 1194
8400
+ },
8401
+ {
8402
+ "epoch": 0.11852806982741519,
8403
+ "grad_norm": 1.9982753992080688,
8404
+ "learning_rate": 2.3749359372785883e-05,
8405
+ "loss": 43.4671,
8406
+ "step": 1195
8407
+ },
8408
+ {
8409
+ "epoch": 0.11862725649672684,
8410
+ "grad_norm": 1.9406991004943848,
8411
+ "learning_rate": 2.3616413460547702e-05,
8412
+ "loss": 43.2969,
8413
+ "step": 1196
8414
+ },
8415
+ {
8416
+ "epoch": 0.11872644316603849,
8417
+ "grad_norm": 1.9013112783432007,
8418
+ "learning_rate": 2.3483790860116316e-05,
8419
+ "loss": 43.5889,
8420
+ "step": 1197
8421
+ },
8422
+ {
8423
+ "epoch": 0.11882562983535012,
8424
+ "grad_norm": 1.7011783123016357,
8425
+ "learning_rate": 2.3351492132848664e-05,
8426
+ "loss": 43.3593,
8427
+ "step": 1198
8428
+ },
8429
+ {
8430
+ "epoch": 0.11892481650466177,
8431
+ "grad_norm": 1.7616310119628906,
8432
+ "learning_rate": 2.3219517838730686e-05,
8433
+ "loss": 43.3636,
8434
+ "step": 1199
8435
+ },
8436
+ {
8437
+ "epoch": 0.11902400317397342,
8438
+ "grad_norm": 1.9877979755401611,
8439
+ "learning_rate": 2.3087868536375234e-05,
8440
+ "loss": 43.4894,
8441
+ "step": 1200
8442
+ },
8443
+ {
8444
+ "epoch": 0.11912318984328506,
8445
+ "grad_norm": 2.02473521232605,
8446
+ "learning_rate": 2.2956544783019418e-05,
8447
+ "loss": 43.1826,
8448
+ "step": 1201
8449
+ },
8450
+ {
8451
+ "epoch": 0.1192223765125967,
8452
+ "grad_norm": 1.9803928136825562,
8453
+ "learning_rate": 2.2825547134522495e-05,
8454
+ "loss": 43.4213,
8455
+ "step": 1202
8456
+ },
8457
+ {
8458
+ "epoch": 0.11932156318190835,
8459
+ "grad_norm": 2.13665771484375,
8460
+ "learning_rate": 2.2694876145363308e-05,
8461
+ "loss": 43.2816,
8462
+ "step": 1203
8463
+ },
8464
+ {
8465
+ "epoch": 0.11942074985121999,
8466
+ "grad_norm": 2.1694679260253906,
8467
+ "learning_rate": 2.2564532368638146e-05,
8468
+ "loss": 43.4692,
8469
+ "step": 1204
8470
+ },
8471
+ {
8472
+ "epoch": 0.11951993652053164,
8473
+ "grad_norm": 2.1723930835723877,
8474
+ "learning_rate": 2.2434516356058177e-05,
8475
+ "loss": 43.3492,
8476
+ "step": 1205
8477
+ },
8478
+ {
8479
+ "epoch": 0.11961912318984329,
8480
+ "grad_norm": 2.2894623279571533,
8481
+ "learning_rate": 2.230482865794733e-05,
8482
+ "loss": 43.2695,
8483
+ "step": 1206
8484
+ },
8485
+ {
8486
+ "epoch": 0.11971830985915492,
8487
+ "grad_norm": 1.7843515872955322,
8488
+ "learning_rate": 2.2175469823239768e-05,
8489
+ "loss": 43.1204,
8490
+ "step": 1207
8491
+ },
8492
+ {
8493
+ "epoch": 0.11981749652846657,
8494
+ "grad_norm": 1.960874080657959,
8495
+ "learning_rate": 2.2046440399477762e-05,
8496
+ "loss": 43.4489,
8497
+ "step": 1208
8498
+ },
8499
+ {
8500
+ "epoch": 0.11991668319777822,
8501
+ "grad_norm": 1.8730344772338867,
8502
+ "learning_rate": 2.1917740932809173e-05,
8503
+ "loss": 42.9379,
8504
+ "step": 1209
8505
+ },
8506
+ {
8507
+ "epoch": 0.12001586986708987,
8508
+ "grad_norm": 2.100027322769165,
8509
+ "learning_rate": 2.1789371967985338e-05,
8510
+ "loss": 43.5234,
8511
+ "step": 1210
8512
+ },
8513
+ {
8514
+ "epoch": 0.1201150565364015,
8515
+ "grad_norm": 2.344916820526123,
8516
+ "learning_rate": 2.1661334048358573e-05,
8517
+ "loss": 43.3028,
8518
+ "step": 1211
8519
+ },
8520
+ {
8521
+ "epoch": 0.12021424320571315,
8522
+ "grad_norm": 1.93478262424469,
8523
+ "learning_rate": 2.1533627715880023e-05,
8524
+ "loss": 42.8419,
8525
+ "step": 1212
8526
+ },
8527
+ {
8528
+ "epoch": 0.1203134298750248,
8529
+ "grad_norm": 2.0599870681762695,
8530
+ "learning_rate": 2.140625351109733e-05,
8531
+ "loss": 43.5079,
8532
+ "step": 1213
8533
+ },
8534
+ {
8535
+ "epoch": 0.12041261654433644,
8536
+ "grad_norm": 2.1910853385925293,
8537
+ "learning_rate": 2.1279211973152234e-05,
8538
+ "loss": 43.2715,
8539
+ "step": 1214
8540
+ },
8541
+ {
8542
+ "epoch": 0.12051180321364809,
8543
+ "grad_norm": 1.9811651706695557,
8544
+ "learning_rate": 2.115250363977851e-05,
8545
+ "loss": 43.4015,
8546
+ "step": 1215
8547
+ },
8548
+ {
8549
+ "epoch": 0.12061098988295973,
8550
+ "grad_norm": 1.7748483419418335,
8551
+ "learning_rate": 2.1026129047299436e-05,
8552
+ "loss": 43.3905,
8553
+ "step": 1216
8554
+ },
8555
+ {
8556
+ "epoch": 0.12071017655227137,
8557
+ "grad_norm": 1.954972267150879,
8558
+ "learning_rate": 2.0900088730625755e-05,
8559
+ "loss": 43.2451,
8560
+ "step": 1217
8561
+ },
8562
+ {
8563
+ "epoch": 0.12080936322158302,
8564
+ "grad_norm": 2.3269190788269043,
8565
+ "learning_rate": 2.0774383223253225e-05,
8566
+ "loss": 43.2175,
8567
+ "step": 1218
8568
+ },
8569
+ {
8570
+ "epoch": 0.12090854989089467,
8571
+ "grad_norm": 2.1407523155212402,
8572
+ "learning_rate": 2.0649013057260546e-05,
8573
+ "loss": 43.0747,
8574
+ "step": 1219
8575
+ },
8576
+ {
8577
+ "epoch": 0.1210077365602063,
8578
+ "grad_norm": 1.73319673538208,
8579
+ "learning_rate": 2.0523978763306873e-05,
8580
+ "loss": 43.4118,
8581
+ "step": 1220
8582
+ },
8583
+ {
8584
+ "epoch": 0.12110692322951795,
8585
+ "grad_norm": 1.7930755615234375,
8586
+ "learning_rate": 2.0399280870629823e-05,
8587
+ "loss": 43.1181,
8588
+ "step": 1221
8589
+ },
8590
+ {
8591
+ "epoch": 0.1212061098988296,
8592
+ "grad_norm": 2.0965116024017334,
8593
+ "learning_rate": 2.0274919907043033e-05,
8594
+ "loss": 43.3303,
8595
+ "step": 1222
8596
+ },
8597
+ {
8598
+ "epoch": 0.12130529656814124,
8599
+ "grad_norm": 1.9727377891540527,
8600
+ "learning_rate": 2.0150896398934073e-05,
8601
+ "loss": 43.2962,
8602
+ "step": 1223
8603
+ },
8604
+ {
8605
+ "epoch": 0.12140448323745288,
8606
+ "grad_norm": 2.1021900177001953,
8607
+ "learning_rate": 2.0027210871262068e-05,
8608
+ "loss": 43.2473,
8609
+ "step": 1224
8610
+ },
8611
+ {
8612
+ "epoch": 0.12150366990676453,
8613
+ "grad_norm": 2.155071258544922,
8614
+ "learning_rate": 1.9903863847555648e-05,
8615
+ "loss": 43.3419,
8616
+ "step": 1225
8617
+ },
8618
+ {
8619
+ "epoch": 0.12160285657607618,
8620
+ "grad_norm": 2.007256507873535,
8621
+ "learning_rate": 1.9780855849910605e-05,
8622
+ "loss": 43.5286,
8623
+ "step": 1226
8624
+ },
8625
+ {
8626
+ "epoch": 0.12170204324538782,
8627
+ "grad_norm": 2.027193546295166,
8628
+ "learning_rate": 1.9658187398987692e-05,
8629
+ "loss": 43.5892,
8630
+ "step": 1227
8631
+ },
8632
+ {
8633
+ "epoch": 0.12180122991469947,
8634
+ "grad_norm": 1.863158941268921,
8635
+ "learning_rate": 1.9535859014010526e-05,
8636
+ "loss": 43.0008,
8637
+ "step": 1228
8638
+ },
8639
+ {
8640
+ "epoch": 0.12190041658401111,
8641
+ "grad_norm": 1.9494130611419678,
8642
+ "learning_rate": 1.9413871212763212e-05,
8643
+ "loss": 43.3241,
8644
+ "step": 1229
8645
+ },
8646
+ {
8647
+ "epoch": 0.12199960325332275,
8648
+ "grad_norm": 1.9798649549484253,
8649
+ "learning_rate": 1.9292224511588365e-05,
8650
+ "loss": 43.1907,
8651
+ "step": 1230
8652
+ },
8653
+ {
8654
+ "epoch": 0.1220987899226344,
8655
+ "grad_norm": 2.2833685874938965,
8656
+ "learning_rate": 1.917091942538469e-05,
8657
+ "loss": 43.007,
8658
+ "step": 1231
8659
+ },
8660
+ {
8661
+ "epoch": 0.12219797659194605,
8662
+ "grad_norm": 2.0100409984588623,
8663
+ "learning_rate": 1.9049956467605055e-05,
8664
+ "loss": 43.1298,
8665
+ "step": 1232
8666
+ },
8667
+ {
8668
+ "epoch": 0.12229716326125768,
8669
+ "grad_norm": 2.5046565532684326,
8670
+ "learning_rate": 1.8929336150254064e-05,
8671
+ "loss": 43.3805,
8672
+ "step": 1233
8673
+ },
8674
+ {
8675
+ "epoch": 0.12239634993056933,
8676
+ "grad_norm": 1.741270661354065,
8677
+ "learning_rate": 1.880905898388612e-05,
8678
+ "loss": 43.0911,
8679
+ "step": 1234
8680
+ },
8681
+ {
8682
+ "epoch": 0.12249553659988098,
8683
+ "grad_norm": 2.1863491535186768,
8684
+ "learning_rate": 1.8689125477603063e-05,
8685
+ "loss": 43.0767,
8686
+ "step": 1235
8687
+ },
8688
+ {
8689
+ "epoch": 0.12259472326919262,
8690
+ "grad_norm": 2.0383381843566895,
8691
+ "learning_rate": 1.8569536139052213e-05,
8692
+ "loss": 43.4303,
8693
+ "step": 1236
8694
+ },
8695
+ {
8696
+ "epoch": 0.12269390993850426,
8697
+ "grad_norm": 2.046947956085205,
8698
+ "learning_rate": 1.8450291474423998e-05,
8699
+ "loss": 43.3978,
8700
+ "step": 1237
8701
+ },
8702
+ {
8703
+ "epoch": 0.12279309660781591,
8704
+ "grad_norm": 2.215596914291382,
8705
+ "learning_rate": 1.8331391988450052e-05,
8706
+ "loss": 43.1113,
8707
+ "step": 1238
8708
+ },
8709
+ {
8710
+ "epoch": 0.12289228327712755,
8711
+ "grad_norm": 1.731846570968628,
8712
+ "learning_rate": 1.8212838184400838e-05,
8713
+ "loss": 43.5589,
8714
+ "step": 1239
8715
+ },
8716
+ {
8717
+ "epoch": 0.1229914699464392,
8718
+ "grad_norm": 2.037714719772339,
8719
+ "learning_rate": 1.8094630564083736e-05,
8720
+ "loss": 43.4503,
8721
+ "step": 1240
8722
+ },
8723
+ {
8724
+ "epoch": 0.12309065661575085,
8725
+ "grad_norm": 2.0696065425872803,
8726
+ "learning_rate": 1.7976769627840806e-05,
8727
+ "loss": 42.9741,
8728
+ "step": 1241
8729
+ },
8730
+ {
8731
+ "epoch": 0.12318984328506248,
8732
+ "grad_norm": 2.007958173751831,
8733
+ "learning_rate": 1.785925587454661e-05,
8734
+ "loss": 43.2596,
8735
+ "step": 1242
8736
+ },
8737
+ {
8738
+ "epoch": 0.12328902995437413,
8739
+ "grad_norm": 2.0569231510162354,
8740
+ "learning_rate": 1.7742089801606276e-05,
8741
+ "loss": 43.4014,
8742
+ "step": 1243
8743
+ },
8744
+ {
8745
+ "epoch": 0.12338821662368578,
8746
+ "grad_norm": 2.107531785964966,
8747
+ "learning_rate": 1.762527190495319e-05,
8748
+ "loss": 43.0654,
8749
+ "step": 1244
8750
+ },
8751
+ {
8752
+ "epoch": 0.12348740329299743,
8753
+ "grad_norm": 1.771912693977356,
8754
+ "learning_rate": 1.750880267904711e-05,
8755
+ "loss": 43.5022,
8756
+ "step": 1245
8757
+ },
8758
+ {
8759
+ "epoch": 0.12358658996230906,
8760
+ "grad_norm": 2.4979348182678223,
8761
+ "learning_rate": 1.7392682616871837e-05,
8762
+ "loss": 43.4391,
8763
+ "step": 1246
8764
+ },
8765
+ {
8766
+ "epoch": 0.12368577663162071,
8767
+ "grad_norm": 2.4610869884490967,
8768
+ "learning_rate": 1.7276912209933392e-05,
8769
+ "loss": 43.3589,
8770
+ "step": 1247
8771
+ },
8772
+ {
8773
+ "epoch": 0.12378496330093236,
8774
+ "grad_norm": 1.9890514612197876,
8775
+ "learning_rate": 1.7161491948257657e-05,
8776
+ "loss": 43.2026,
8777
+ "step": 1248
8778
+ },
8779
+ {
8780
+ "epoch": 0.123884149970244,
8781
+ "grad_norm": 2.3719217777252197,
8782
+ "learning_rate": 1.7046422320388556e-05,
8783
+ "loss": 43.1041,
8784
+ "step": 1249
8785
+ },
8786
+ {
8787
+ "epoch": 0.12398333663955564,
8788
+ "grad_norm": 2.3359856605529785,
8789
+ "learning_rate": 1.693170381338578e-05,
8790
+ "loss": 43.5385,
8791
+ "step": 1250
8792
+ },
8793
+ {
8794
+ "epoch": 0.12408252330886729,
8795
+ "grad_norm": 1.738102912902832,
8796
+ "learning_rate": 1.6817336912822912e-05,
8797
+ "loss": 43.344,
8798
+ "step": 1251
8799
+ },
8800
+ {
8801
+ "epoch": 0.12418170997817893,
8802
+ "grad_norm": 2.1407241821289062,
8803
+ "learning_rate": 1.6703322102785168e-05,
8804
+ "loss": 43.3036,
8805
+ "step": 1252
8806
+ },
8807
+ {
8808
+ "epoch": 0.12428089664749058,
8809
+ "grad_norm": 1.9617172479629517,
8810
+ "learning_rate": 1.6589659865867534e-05,
8811
+ "loss": 43.4202,
8812
+ "step": 1253
8813
+ },
8814
+ {
8815
+ "epoch": 0.12438008331680223,
8816
+ "grad_norm": 2.001938819885254,
8817
+ "learning_rate": 1.647635068317265e-05,
8818
+ "loss": 43.2289,
8819
+ "step": 1254
8820
+ },
8821
+ {
8822
+ "epoch": 0.12447926998611386,
8823
+ "grad_norm": 2.245469331741333,
8824
+ "learning_rate": 1.6363395034308703e-05,
8825
+ "loss": 43.215,
8826
+ "step": 1255
8827
+ },
8828
+ {
8829
+ "epoch": 0.12457845665542551,
8830
+ "grad_norm": 2.2097630500793457,
8831
+ "learning_rate": 1.6250793397387555e-05,
8832
+ "loss": 43.4554,
8833
+ "step": 1256
8834
+ },
8835
+ {
8836
+ "epoch": 0.12467764332473716,
8837
+ "grad_norm": 2.113950729370117,
8838
+ "learning_rate": 1.6138546249022513e-05,
8839
+ "loss": 43.2097,
8840
+ "step": 1257
8841
+ },
8842
+ {
8843
+ "epoch": 0.1247768299940488,
8844
+ "grad_norm": 2.116868019104004,
8845
+ "learning_rate": 1.6026654064326553e-05,
8846
+ "loss": 43.3248,
8847
+ "step": 1258
8848
+ },
8849
+ {
8850
+ "epoch": 0.12487601666336044,
8851
+ "grad_norm": 2.185568332672119,
8852
+ "learning_rate": 1.5915117316910055e-05,
8853
+ "loss": 43.0621,
8854
+ "step": 1259
8855
+ },
8856
+ {
8857
+ "epoch": 0.12497520333267209,
8858
+ "grad_norm": 2.0478570461273193,
8859
+ "learning_rate": 1.5803936478879057e-05,
8860
+ "loss": 43.1099,
8861
+ "step": 1260
8862
+ },
8863
+ {
8864
+ "epoch": 0.12507439000198373,
8865
+ "grad_norm": 2.1610467433929443,
8866
+ "learning_rate": 1.5693112020833013e-05,
8867
+ "loss": 43.2475,
8868
+ "step": 1261
8869
+ },
8870
+ {
8871
+ "epoch": 0.1251735766712954,
8872
+ "grad_norm": 1.7375211715698242,
8873
+ "learning_rate": 1.558264441186299e-05,
8874
+ "loss": 43.4413,
8875
+ "step": 1262
8876
+ },
8877
+ {
8878
+ "epoch": 0.12527276334060702,
8879
+ "grad_norm": 1.689758539199829,
8880
+ "learning_rate": 1.547253411954953e-05,
8881
+ "loss": 43.1902,
8882
+ "step": 1263
8883
+ },
8884
+ {
8885
+ "epoch": 0.12537195000991866,
8886
+ "grad_norm": 2.010601043701172,
8887
+ "learning_rate": 1.5362781609960852e-05,
8888
+ "loss": 43.3252,
8889
+ "step": 1264
8890
+ },
8891
+ {
8892
+ "epoch": 0.12547113667923032,
8893
+ "grad_norm": 2.1295485496520996,
8894
+ "learning_rate": 1.5253387347650661e-05,
8895
+ "loss": 43.4037,
8896
+ "step": 1265
8897
+ },
8898
+ {
8899
+ "epoch": 0.12557032334854196,
8900
+ "grad_norm": 2.2790913581848145,
8901
+ "learning_rate": 1.5144351795656387e-05,
8902
+ "loss": 43.5434,
8903
+ "step": 1266
8904
+ },
8905
+ {
8906
+ "epoch": 0.1256695100178536,
8907
+ "grad_norm": 2.4958717823028564,
8908
+ "learning_rate": 1.5035675415497063e-05,
8909
+ "loss": 43.0798,
8910
+ "step": 1267
8911
+ },
8912
+ {
8913
+ "epoch": 0.12576869668716525,
8914
+ "grad_norm": 2.2541685104370117,
8915
+ "learning_rate": 1.4927358667171476e-05,
8916
+ "loss": 43.1865,
8917
+ "step": 1268
8918
+ },
8919
+ {
8920
+ "epoch": 0.1258678833564769,
8921
+ "grad_norm": 1.9234634637832642,
8922
+ "learning_rate": 1.4819402009156214e-05,
8923
+ "loss": 43.5065,
8924
+ "step": 1269
8925
+ },
8926
+ {
8927
+ "epoch": 0.12596707002578852,
8928
+ "grad_norm": 2.2710721492767334,
8929
+ "learning_rate": 1.471180589840363e-05,
8930
+ "loss": 43.2936,
8931
+ "step": 1270
8932
+ },
8933
+ {
8934
+ "epoch": 0.1260662566951002,
8935
+ "grad_norm": 2.3189542293548584,
8936
+ "learning_rate": 1.4604570790340023e-05,
8937
+ "loss": 43.1946,
8938
+ "step": 1271
8939
+ },
8940
+ {
8941
+ "epoch": 0.12616544336441182,
8942
+ "grad_norm": 2.0585691928863525,
8943
+ "learning_rate": 1.449769713886363e-05,
8944
+ "loss": 43.1392,
8945
+ "step": 1272
8946
+ },
8947
+ {
8948
+ "epoch": 0.12626463003372346,
8949
+ "grad_norm": 2.1090476512908936,
8950
+ "learning_rate": 1.4391185396342789e-05,
8951
+ "loss": 43.2654,
8952
+ "step": 1273
8953
+ },
8954
+ {
8955
+ "epoch": 0.12636381670303512,
8956
+ "grad_norm": 1.9602532386779785,
8957
+ "learning_rate": 1.4285036013613872e-05,
8958
+ "loss": 42.953,
8959
+ "step": 1274
8960
+ },
8961
+ {
8962
+ "epoch": 0.12646300337234676,
8963
+ "grad_norm": 2.2727339267730713,
8964
+ "learning_rate": 1.4179249439979613e-05,
8965
+ "loss": 43.0101,
8966
+ "step": 1275
8967
+ },
8968
+ {
8969
+ "epoch": 0.1265621900416584,
8970
+ "grad_norm": 2.0381500720977783,
8971
+ "learning_rate": 1.4073826123206946e-05,
8972
+ "loss": 43.1364,
8973
+ "step": 1276
8974
+ },
8975
+ {
8976
+ "epoch": 0.12666137671097005,
8977
+ "grad_norm": 2.0481743812561035,
8978
+ "learning_rate": 1.3968766509525322e-05,
8979
+ "loss": 43.5437,
8980
+ "step": 1277
8981
+ },
8982
+ {
8983
+ "epoch": 0.1267605633802817,
8984
+ "grad_norm": 2.1864757537841797,
8985
+ "learning_rate": 1.386407104362467e-05,
8986
+ "loss": 43.0872,
8987
+ "step": 1278
8988
+ },
8989
+ {
8990
+ "epoch": 0.12685975004959332,
8991
+ "grad_norm": 2.3352155685424805,
8992
+ "learning_rate": 1.375974016865359e-05,
8993
+ "loss": 43.2959,
8994
+ "step": 1279
8995
+ },
8996
+ {
8997
+ "epoch": 0.12695893671890499,
8998
+ "grad_norm": 2.0664021968841553,
8999
+ "learning_rate": 1.3655774326217507e-05,
9000
+ "loss": 43.2873,
9001
+ "step": 1280
9002
+ },
9003
+ {
9004
+ "epoch": 0.12705812338821662,
9005
+ "grad_norm": 2.0694098472595215,
9006
+ "learning_rate": 1.3552173956376668e-05,
9007
+ "loss": 43.305,
9008
+ "step": 1281
9009
+ },
9010
+ {
9011
+ "epoch": 0.12715731005752826,
9012
+ "grad_norm": 2.1970510482788086,
9013
+ "learning_rate": 1.3448939497644509e-05,
9014
+ "loss": 43.1985,
9015
+ "step": 1282
9016
+ },
9017
+ {
9018
+ "epoch": 0.12725649672683992,
9019
+ "grad_norm": 1.886986494064331,
9020
+ "learning_rate": 1.3346071386985515e-05,
9021
+ "loss": 43.5169,
9022
+ "step": 1283
9023
+ },
9024
+ {
9025
+ "epoch": 0.12735568339615155,
9026
+ "grad_norm": 1.7438634634017944,
9027
+ "learning_rate": 1.3243570059813626e-05,
9028
+ "loss": 43.2525,
9029
+ "step": 1284
9030
+ },
9031
+ {
9032
+ "epoch": 0.1274548700654632,
9033
+ "grad_norm": 2.0268194675445557,
9034
+ "learning_rate": 1.3141435949990188e-05,
9035
+ "loss": 43.4215,
9036
+ "step": 1285
9037
+ },
9038
+ {
9039
+ "epoch": 0.12755405673477485,
9040
+ "grad_norm": 2.101165533065796,
9041
+ "learning_rate": 1.3039669489822292e-05,
9042
+ "loss": 42.7054,
9043
+ "step": 1286
9044
+ },
9045
+ {
9046
+ "epoch": 0.12765324340408649,
9047
+ "grad_norm": 1.8700491189956665,
9048
+ "learning_rate": 1.2938271110060807e-05,
9049
+ "loss": 43.267,
9050
+ "step": 1287
9051
+ },
9052
+ {
9053
+ "epoch": 0.12775243007339815,
9054
+ "grad_norm": 1.8919130563735962,
9055
+ "learning_rate": 1.2837241239898667e-05,
9056
+ "loss": 43.4118,
9057
+ "step": 1288
9058
+ },
9059
+ {
9060
+ "epoch": 0.12785161674270978,
9061
+ "grad_norm": 2.1673426628112793,
9062
+ "learning_rate": 1.2736580306968938e-05,
9063
+ "loss": 43.2691,
9064
+ "step": 1289
9065
+ },
9066
+ {
9067
+ "epoch": 0.12795080341202142,
9068
+ "grad_norm": 1.9596093893051147,
9069
+ "learning_rate": 1.2636288737343138e-05,
9070
+ "loss": 43.1042,
9071
+ "step": 1290
9072
+ },
9073
+ {
9074
+ "epoch": 0.12804999008133308,
9075
+ "grad_norm": 1.9993942975997925,
9076
+ "learning_rate": 1.253636695552931e-05,
9077
+ "loss": 43.4206,
9078
+ "step": 1291
9079
+ },
9080
+ {
9081
+ "epoch": 0.12814917675064472,
9082
+ "grad_norm": 1.9622743129730225,
9083
+ "learning_rate": 1.2436815384470301e-05,
9084
+ "loss": 43.5773,
9085
+ "step": 1292
9086
+ },
9087
+ {
9088
+ "epoch": 0.12824836341995635,
9089
+ "grad_norm": 2.12934947013855,
9090
+ "learning_rate": 1.233763444554198e-05,
9091
+ "loss": 42.9882,
9092
+ "step": 1293
9093
+ },
9094
+ {
9095
+ "epoch": 0.12834755008926801,
9096
+ "grad_norm": 1.997297763824463,
9097
+ "learning_rate": 1.2238824558551365e-05,
9098
+ "loss": 43.2069,
9099
+ "step": 1294
9100
+ },
9101
+ {
9102
+ "epoch": 0.12844673675857965,
9103
+ "grad_norm": 1.7098406553268433,
9104
+ "learning_rate": 1.2140386141734972e-05,
9105
+ "loss": 43.3409,
9106
+ "step": 1295
9107
+ },
9108
+ {
9109
+ "epoch": 0.12854592342789128,
9110
+ "grad_norm": 1.924278736114502,
9111
+ "learning_rate": 1.2042319611756948e-05,
9112
+ "loss": 43.202,
9113
+ "step": 1296
9114
+ },
9115
+ {
9116
+ "epoch": 0.12864511009720295,
9117
+ "grad_norm": 2.1477646827697754,
9118
+ "learning_rate": 1.1944625383707374e-05,
9119
+ "loss": 43.1039,
9120
+ "step": 1297
9121
+ },
9122
+ {
9123
+ "epoch": 0.12874429676651458,
9124
+ "grad_norm": 1.9721094369888306,
9125
+ "learning_rate": 1.184730387110039e-05,
9126
+ "loss": 43.5037,
9127
+ "step": 1298
9128
+ },
9129
+ {
9130
+ "epoch": 0.12884348343582622,
9131
+ "grad_norm": 1.9413458108901978,
9132
+ "learning_rate": 1.1750355485872644e-05,
9133
+ "loss": 43.7498,
9134
+ "step": 1299
9135
+ },
9136
+ {
9137
+ "epoch": 0.12894267010513788,
9138
+ "grad_norm": 2.565575122833252,
9139
+ "learning_rate": 1.1653780638381328e-05,
9140
+ "loss": 43.1948,
9141
+ "step": 1300
9142
+ },
9143
+ {
9144
+ "epoch": 0.12904185677444951,
9145
+ "grad_norm": 2.2411508560180664,
9146
+ "learning_rate": 1.1557579737402623e-05,
9147
+ "loss": 43.4395,
9148
+ "step": 1301
9149
+ },
9150
+ {
9151
+ "epoch": 0.12914104344376115,
9152
+ "grad_norm": 1.8507673740386963,
9153
+ "learning_rate": 1.146175319012983e-05,
9154
+ "loss": 43.1794,
9155
+ "step": 1302
9156
+ },
9157
+ {
9158
+ "epoch": 0.1292402301130728,
9159
+ "grad_norm": 2.061469078063965,
9160
+ "learning_rate": 1.1366301402171775e-05,
9161
+ "loss": 43.0605,
9162
+ "step": 1303
9163
+ },
9164
+ {
9165
+ "epoch": 0.12933941678238445,
9166
+ "grad_norm": 2.121185302734375,
9167
+ "learning_rate": 1.127122477755097e-05,
9168
+ "loss": 43.431,
9169
+ "step": 1304
9170
+ },
9171
+ {
9172
+ "epoch": 0.12943860345169608,
9173
+ "grad_norm": 2.0242440700531006,
9174
+ "learning_rate": 1.117652371870197e-05,
9175
+ "loss": 43.4726,
9176
+ "step": 1305
9177
+ },
9178
+ {
9179
+ "epoch": 0.12953779012100775,
9180
+ "grad_norm": 2.2344465255737305,
9181
+ "learning_rate": 1.1082198626469686e-05,
9182
+ "loss": 42.8992,
9183
+ "step": 1306
9184
+ },
9185
+ {
9186
+ "epoch": 0.12963697679031938,
9187
+ "grad_norm": 1.7026211023330688,
9188
+ "learning_rate": 1.0988249900107605e-05,
9189
+ "loss": 43.401,
9190
+ "step": 1307
9191
+ },
9192
+ {
9193
+ "epoch": 0.12973616345963102,
9194
+ "grad_norm": 2.0010180473327637,
9195
+ "learning_rate": 1.0894677937276232e-05,
9196
+ "loss": 43.3382,
9197
+ "step": 1308
9198
+ },
9199
+ {
9200
+ "epoch": 0.12983535012894268,
9201
+ "grad_norm": 1.8324205875396729,
9202
+ "learning_rate": 1.0801483134041268e-05,
9203
+ "loss": 43.4343,
9204
+ "step": 1309
9205
+ },
9206
+ {
9207
+ "epoch": 0.1299345367982543,
9208
+ "grad_norm": 2.0147500038146973,
9209
+ "learning_rate": 1.0708665884872037e-05,
9210
+ "loss": 43.0836,
9211
+ "step": 1310
9212
+ },
9213
+ {
9214
+ "epoch": 0.13003372346756595,
9215
+ "grad_norm": 2.060643434524536,
9216
+ "learning_rate": 1.0616226582639732e-05,
9217
+ "loss": 43.3897,
9218
+ "step": 1311
9219
+ },
9220
+ {
9221
+ "epoch": 0.1301329101368776,
9222
+ "grad_norm": 1.9988598823547363,
9223
+ "learning_rate": 1.0524165618615845e-05,
9224
+ "loss": 43.5015,
9225
+ "step": 1312
9226
+ },
9227
+ {
9228
+ "epoch": 0.13023209680618925,
9229
+ "grad_norm": 1.6039632558822632,
9230
+ "learning_rate": 1.0432483382470393e-05,
9231
+ "loss": 43.352,
9232
+ "step": 1313
9233
+ },
9234
+ {
9235
+ "epoch": 0.13033128347550088,
9236
+ "grad_norm": 2.301841974258423,
9237
+ "learning_rate": 1.0341180262270422e-05,
9238
+ "loss": 43.1568,
9239
+ "step": 1314
9240
+ },
9241
+ {
9242
+ "epoch": 0.13043047014481254,
9243
+ "grad_norm": 2.549867868423462,
9244
+ "learning_rate": 1.0250256644478195e-05,
9245
+ "loss": 43.1025,
9246
+ "step": 1315
9247
+ },
9248
+ {
9249
+ "epoch": 0.13052965681412418,
9250
+ "grad_norm": 1.9916534423828125,
9251
+ "learning_rate": 1.0159712913949715e-05,
9252
+ "loss": 43.4582,
9253
+ "step": 1316
9254
+ },
9255
+ {
9256
+ "epoch": 0.1306288434834358,
9257
+ "grad_norm": 2.260643720626831,
9258
+ "learning_rate": 1.0069549453932969e-05,
9259
+ "loss": 43.3585,
9260
+ "step": 1317
9261
+ },
9262
+ {
9263
+ "epoch": 0.13072803015274748,
9264
+ "grad_norm": 2.251774549484253,
9265
+ "learning_rate": 9.979766646066368e-06,
9266
+ "loss": 43.3543,
9267
+ "step": 1318
9268
+ },
9269
+ {
9270
+ "epoch": 0.1308272168220591,
9271
+ "grad_norm": 2.2947351932525635,
9272
+ "learning_rate": 9.890364870377156e-06,
9273
+ "loss": 43.4266,
9274
+ "step": 1319
9275
+ },
9276
+ {
9277
+ "epoch": 0.13092640349137075,
9278
+ "grad_norm": 2.2526769638061523,
9279
+ "learning_rate": 9.801344505279698e-06,
9280
+ "loss": 43.4395,
9281
+ "step": 1320
9282
+ },
9283
+ {
9284
+ "epoch": 0.1310255901606824,
9285
+ "grad_norm": 2.026726007461548,
9286
+ "learning_rate": 9.71270592757404e-06,
9287
+ "loss": 43.4505,
9288
+ "step": 1321
9289
+ },
9290
+ {
9291
+ "epoch": 0.13112477682999404,
9292
+ "grad_norm": 2.089557647705078,
9293
+ "learning_rate": 9.6244495124441e-06,
9294
+ "loss": 43.5353,
9295
+ "step": 1322
9296
+ },
9297
+ {
9298
+ "epoch": 0.1312239634993057,
9299
+ "grad_norm": 1.9276314973831177,
9300
+ "learning_rate": 9.536575633456369e-06,
9301
+ "loss": 43.4943,
9302
+ "step": 1323
9303
+ },
9304
+ {
9305
+ "epoch": 0.13132315016861734,
9306
+ "grad_norm": 1.8411586284637451,
9307
+ "learning_rate": 9.449084662557982e-06,
9308
+ "loss": 43.3444,
9309
+ "step": 1324
9310
+ },
9311
+ {
9312
+ "epoch": 0.13142233683792898,
9313
+ "grad_norm": 2.3631200790405273,
9314
+ "learning_rate": 9.36197697007547e-06,
9315
+ "loss": 42.7248,
9316
+ "step": 1325
9317
+ },
9318
+ {
9319
+ "epoch": 0.13152152350724064,
9320
+ "grad_norm": 2.6807281970977783,
9321
+ "learning_rate": 9.27525292471294e-06,
9322
+ "loss": 43.3432,
9323
+ "step": 1326
9324
+ },
9325
+ {
9326
+ "epoch": 0.13162071017655227,
9327
+ "grad_norm": 1.9830889701843262,
9328
+ "learning_rate": 9.188912893550695e-06,
9329
+ "loss": 43.2004,
9330
+ "step": 1327
9331
+ },
9332
+ {
9333
+ "epoch": 0.1317198968458639,
9334
+ "grad_norm": 2.103409767150879,
9335
+ "learning_rate": 9.102957242043552e-06,
9336
+ "loss": 43.3022,
9337
+ "step": 1328
9338
+ },
9339
+ {
9340
+ "epoch": 0.13181908351517557,
9341
+ "grad_norm": 2.049328327178955,
9342
+ "learning_rate": 9.017386334019373e-06,
9343
+ "loss": 43.3698,
9344
+ "step": 1329
9345
+ },
9346
+ {
9347
+ "epoch": 0.1319182701844872,
9348
+ "grad_norm": 2.0538601875305176,
9349
+ "learning_rate": 8.932200531677537e-06,
9350
+ "loss": 43.3331,
9351
+ "step": 1330
9352
+ },
9353
+ {
9354
+ "epoch": 0.13201745685379884,
9355
+ "grad_norm": 1.9742823839187622,
9356
+ "learning_rate": 8.847400195587274e-06,
9357
+ "loss": 43.3083,
9358
+ "step": 1331
9359
+ },
9360
+ {
9361
+ "epoch": 0.1321166435231105,
9362
+ "grad_norm": 2.0585734844207764,
9363
+ "learning_rate": 8.762985684686365e-06,
9364
+ "loss": 43.3448,
9365
+ "step": 1332
9366
+ },
9367
+ {
9368
+ "epoch": 0.13221583019242214,
9369
+ "grad_norm": 2.1064953804016113,
9370
+ "learning_rate": 8.678957356279371e-06,
9371
+ "loss": 43.6047,
9372
+ "step": 1333
9373
+ },
9374
+ {
9375
+ "epoch": 0.13231501686173378,
9376
+ "grad_norm": 2.0612661838531494,
9377
+ "learning_rate": 8.595315566036333e-06,
9378
+ "loss": 43.451,
9379
+ "step": 1334
9380
+ },
9381
+ {
9382
+ "epoch": 0.13241420353104544,
9383
+ "grad_norm": 1.9173448085784912,
9384
+ "learning_rate": 8.512060667991117e-06,
9385
+ "loss": 43.3475,
9386
+ "step": 1335
9387
+ },
9388
+ {
9389
+ "epoch": 0.13251339020035707,
9390
+ "grad_norm": 1.8247857093811035,
9391
+ "learning_rate": 8.429193014540015e-06,
9392
+ "loss": 43.4886,
9393
+ "step": 1336
9394
+ },
9395
+ {
9396
+ "epoch": 0.1326125768696687,
9397
+ "grad_norm": 1.8412190675735474,
9398
+ "learning_rate": 8.346712956440195e-06,
9399
+ "loss": 43.2855,
9400
+ "step": 1337
9401
+ },
9402
+ {
9403
+ "epoch": 0.13271176353898037,
9404
+ "grad_norm": 1.8325763940811157,
9405
+ "learning_rate": 8.264620842808247e-06,
9406
+ "loss": 43.215,
9407
+ "step": 1338
9408
+ },
9409
+ {
9410
+ "epoch": 0.132810950208292,
9411
+ "grad_norm": 2.0761842727661133,
9412
+ "learning_rate": 8.182917021118663e-06,
9413
+ "loss": 43.1977,
9414
+ "step": 1339
9415
+ },
9416
+ {
9417
+ "epoch": 0.13291013687760364,
9418
+ "grad_norm": 2.371229410171509,
9419
+ "learning_rate": 8.101601837202456e-06,
9420
+ "loss": 43.4271,
9421
+ "step": 1340
9422
+ },
9423
+ {
9424
+ "epoch": 0.1330093235469153,
9425
+ "grad_norm": 2.003568410873413,
9426
+ "learning_rate": 8.020675635245567e-06,
9427
+ "loss": 43.716,
9428
+ "step": 1341
9429
+ },
9430
+ {
9431
+ "epoch": 0.13310851021622694,
9432
+ "grad_norm": 2.2959647178649902,
9433
+ "learning_rate": 7.940138757787507e-06,
9434
+ "loss": 42.9468,
9435
+ "step": 1342
9436
+ },
9437
+ {
9438
+ "epoch": 0.13320769688553857,
9439
+ "grad_norm": 2.332428455352783,
9440
+ "learning_rate": 7.859991545719902e-06,
9441
+ "loss": 43.3107,
9442
+ "step": 1343
9443
+ },
9444
+ {
9445
+ "epoch": 0.13330688355485024,
9446
+ "grad_norm": 2.177833080291748,
9447
+ "learning_rate": 7.780234338284974e-06,
9448
+ "loss": 43.4292,
9449
+ "step": 1344
9450
+ },
9451
+ {
9452
+ "epoch": 0.13340607022416187,
9453
+ "grad_norm": 2.025319814682007,
9454
+ "learning_rate": 7.700867473074224e-06,
9455
+ "loss": 43.2634,
9456
+ "step": 1345
9457
+ },
9458
+ {
9459
+ "epoch": 0.1335052568934735,
9460
+ "grad_norm": 1.993777871131897,
9461
+ "learning_rate": 7.621891286026872e-06,
9462
+ "loss": 43.3163,
9463
+ "step": 1346
9464
+ },
9465
+ {
9466
+ "epoch": 0.13360444356278517,
9467
+ "grad_norm": 1.8726677894592285,
9468
+ "learning_rate": 7.543306111428539e-06,
9469
+ "loss": 43.4174,
9470
+ "step": 1347
9471
+ },
9472
+ {
9473
+ "epoch": 0.1337036302320968,
9474
+ "grad_norm": 2.088778495788574,
9475
+ "learning_rate": 7.46511228190977e-06,
9476
+ "loss": 43.2981,
9477
+ "step": 1348
9478
+ },
9479
+ {
9480
+ "epoch": 0.13380281690140844,
9481
+ "grad_norm": 2.2077391147613525,
9482
+ "learning_rate": 7.38731012844468e-06,
9483
+ "loss": 43.5584,
9484
+ "step": 1349
9485
+ },
9486
+ {
9487
+ "epoch": 0.1339020035707201,
9488
+ "grad_norm": 2.162419319152832,
9489
+ "learning_rate": 7.309899980349455e-06,
9490
+ "loss": 43.2591,
9491
+ "step": 1350
9492
+ },
9493
+ {
9494
+ "epoch": 0.13400119024003174,
9495
+ "grad_norm": 2.255364418029785,
9496
+ "learning_rate": 7.232882165281141e-06,
9497
+ "loss": 42.9439,
9498
+ "step": 1351
9499
+ },
9500
+ {
9501
+ "epoch": 0.13410037690934337,
9502
+ "grad_norm": 1.9275546073913574,
9503
+ "learning_rate": 7.156257009236e-06,
9504
+ "loss": 43.1532,
9505
+ "step": 1352
9506
+ },
9507
+ {
9508
+ "epoch": 0.13419956357865503,
9509
+ "grad_norm": 1.801643967628479,
9510
+ "learning_rate": 7.0800248365483825e-06,
9511
+ "loss": 43.3247,
9512
+ "step": 1353
9513
+ },
9514
+ {
9515
+ "epoch": 0.13429875024796667,
9516
+ "grad_norm": 2.316209554672241,
9517
+ "learning_rate": 7.004185969889187e-06,
9518
+ "loss": 43.4831,
9519
+ "step": 1354
9520
+ },
9521
+ {
9522
+ "epoch": 0.1343979369172783,
9523
+ "grad_norm": 2.057708263397217,
9524
+ "learning_rate": 6.928740730264549e-06,
9525
+ "loss": 42.9086,
9526
+ "step": 1355
9527
+ },
9528
+ {
9529
+ "epoch": 0.13449712358658997,
9530
+ "grad_norm": 2.5561258792877197,
9531
+ "learning_rate": 6.853689437014521e-06,
9532
+ "loss": 43.3944,
9533
+ "step": 1356
9534
+ },
9535
+ {
9536
+ "epoch": 0.1345963102559016,
9537
+ "grad_norm": 1.672929048538208,
9538
+ "learning_rate": 6.7790324078116364e-06,
9539
+ "loss": 43.1944,
9540
+ "step": 1357
9541
+ },
9542
+ {
9543
+ "epoch": 0.13469549692521327,
9544
+ "grad_norm": 1.909250259399414,
9545
+ "learning_rate": 6.704769958659652e-06,
9546
+ "loss": 43.4062,
9547
+ "step": 1358
9548
+ },
9549
+ {
9550
+ "epoch": 0.1347946835945249,
9551
+ "grad_norm": 1.9488860368728638,
9552
+ "learning_rate": 6.6309024038921475e-06,
9553
+ "loss": 43.4522,
9554
+ "step": 1359
9555
+ },
9556
+ {
9557
+ "epoch": 0.13489387026383654,
9558
+ "grad_norm": 2.196932315826416,
9559
+ "learning_rate": 6.557430056171221e-06,
9560
+ "loss": 43.2967,
9561
+ "step": 1360
9562
+ },
9563
+ {
9564
+ "epoch": 0.1349930569331482,
9565
+ "grad_norm": 2.2892370223999023,
9566
+ "learning_rate": 6.484353226486162e-06,
9567
+ "loss": 43.4358,
9568
+ "step": 1361
9569
+ },
9570
+ {
9571
+ "epoch": 0.13509224360245983,
9572
+ "grad_norm": 2.0446407794952393,
9573
+ "learning_rate": 6.411672224152154e-06,
9574
+ "loss": 43.493,
9575
+ "step": 1362
9576
+ },
9577
+ {
9578
+ "epoch": 0.13519143027177147,
9579
+ "grad_norm": 1.935500979423523,
9580
+ "learning_rate": 6.339387356808912e-06,
9581
+ "loss": 43.3435,
9582
+ "step": 1363
9583
+ },
9584
+ {
9585
+ "epoch": 0.13529061694108313,
9586
+ "grad_norm": 1.5912455320358276,
9587
+ "learning_rate": 6.267498930419435e-06,
9588
+ "loss": 43.3201,
9589
+ "step": 1364
9590
+ },
9591
+ {
9592
+ "epoch": 0.13538980361039477,
9593
+ "grad_norm": 1.9594824314117432,
9594
+ "learning_rate": 6.196007249268687e-06,
9595
+ "loss": 43.4821,
9596
+ "step": 1365
9597
+ },
9598
+ {
9599
+ "epoch": 0.1354889902797064,
9600
+ "grad_norm": 2.056896924972534,
9601
+ "learning_rate": 6.124912615962341e-06,
9602
+ "loss": 43.3942,
9603
+ "step": 1366
9604
+ },
9605
+ {
9606
+ "epoch": 0.13558817694901806,
9607
+ "grad_norm": 1.7575795650482178,
9608
+ "learning_rate": 6.054215331425428e-06,
9609
+ "loss": 43.166,
9610
+ "step": 1367
9611
+ },
9612
+ {
9613
+ "epoch": 0.1356873636183297,
9614
+ "grad_norm": 2.0878756046295166,
9615
+ "learning_rate": 5.983915694901088e-06,
9616
+ "loss": 43.4634,
9617
+ "step": 1368
9618
+ },
9619
+ {
9620
+ "epoch": 0.13578655028764133,
9621
+ "grad_norm": 2.114713668823242,
9622
+ "learning_rate": 5.9140140039494084e-06,
9623
+ "loss": 43.2898,
9624
+ "step": 1369
9625
+ },
9626
+ {
9627
+ "epoch": 0.135885736956953,
9628
+ "grad_norm": 2.129774332046509,
9629
+ "learning_rate": 5.844510554445981e-06,
9630
+ "loss": 43.4494,
9631
+ "step": 1370
9632
+ },
9633
+ {
9634
+ "epoch": 0.13598492362626463,
9635
+ "grad_norm": 2.3913118839263916,
9636
+ "learning_rate": 5.775405640580822e-06,
9637
+ "loss": 43.3137,
9638
+ "step": 1371
9639
+ },
9640
+ {
9641
+ "epoch": 0.13608411029557627,
9642
+ "grad_norm": 1.7819161415100098,
9643
+ "learning_rate": 5.706699554856964e-06,
9644
+ "loss": 43.3058,
9645
+ "step": 1372
9646
+ },
9647
+ {
9648
+ "epoch": 0.13618329696488793,
9649
+ "grad_norm": 1.9535526037216187,
9650
+ "learning_rate": 5.6383925880894135e-06,
9651
+ "loss": 43.3178,
9652
+ "step": 1373
9653
+ },
9654
+ {
9655
+ "epoch": 0.13628248363419956,
9656
+ "grad_norm": 2.282865285873413,
9657
+ "learning_rate": 5.5704850294036934e-06,
9658
+ "loss": 43.0879,
9659
+ "step": 1374
9660
+ },
9661
+ {
9662
+ "epoch": 0.1363816703035112,
9663
+ "grad_norm": 1.8366732597351074,
9664
+ "learning_rate": 5.502977166234857e-06,
9665
+ "loss": 43.3269,
9666
+ "step": 1375
9667
+ },
9668
+ {
9669
+ "epoch": 0.13648085697282286,
9670
+ "grad_norm": 2.4548354148864746,
9671
+ "learning_rate": 5.435869284326023e-06,
9672
+ "loss": 43.1059,
9673
+ "step": 1376
9674
+ },
9675
+ {
9676
+ "epoch": 0.1365800436421345,
9677
+ "grad_norm": 2.022681474685669,
9678
+ "learning_rate": 5.3691616677274185e-06,
9679
+ "loss": 43.1864,
9680
+ "step": 1377
9681
+ },
9682
+ {
9683
+ "epoch": 0.13667923031144613,
9684
+ "grad_norm": 2.470262289047241,
9685
+ "learning_rate": 5.302854598794937e-06,
9686
+ "loss": 43.3405,
9687
+ "step": 1378
9688
+ },
9689
+ {
9690
+ "epoch": 0.1367784169807578,
9691
+ "grad_norm": 2.0381100177764893,
9692
+ "learning_rate": 5.2369483581891535e-06,
9693
+ "loss": 43.3638,
9694
+ "step": 1379
9695
+ },
9696
+ {
9697
+ "epoch": 0.13687760365006943,
9698
+ "grad_norm": 2.0829873085021973,
9699
+ "learning_rate": 5.171443224873995e-06,
9700
+ "loss": 43.4733,
9701
+ "step": 1380
9702
+ },
9703
+ {
9704
+ "epoch": 0.13697679031938106,
9705
+ "grad_norm": 2.2366280555725098,
9706
+ "learning_rate": 5.106339476115596e-06,
9707
+ "loss": 43.3411,
9708
+ "step": 1381
9709
+ },
9710
+ {
9711
+ "epoch": 0.13707597698869273,
9712
+ "grad_norm": 2.3511526584625244,
9713
+ "learning_rate": 5.0416373874811684e-06,
9714
+ "loss": 42.9051,
9715
+ "step": 1382
9716
+ },
9717
+ {
9718
+ "epoch": 0.13717516365800436,
9719
+ "grad_norm": 2.483473062515259,
9720
+ "learning_rate": 4.977337232837775e-06,
9721
+ "loss": 43.109,
9722
+ "step": 1383
9723
+ },
9724
+ {
9725
+ "epoch": 0.137274350327316,
9726
+ "grad_norm": 2.010577440261841,
9727
+ "learning_rate": 4.913439284351207e-06,
9728
+ "loss": 43.135,
9729
+ "step": 1384
9730
+ },
9731
+ {
9732
+ "epoch": 0.13737353699662766,
9733
+ "grad_norm": 2.0378925800323486,
9734
+ "learning_rate": 4.849943812484814e-06,
9735
+ "loss": 42.8639,
9736
+ "step": 1385
9737
+ },
9738
+ {
9739
+ "epoch": 0.1374727236659393,
9740
+ "grad_norm": 2.2532873153686523,
9741
+ "learning_rate": 4.7868510859983895e-06,
9742
+ "loss": 43.4281,
9743
+ "step": 1386
9744
+ },
9745
+ {
9746
+ "epoch": 0.13757191033525093,
9747
+ "grad_norm": 1.898999571800232,
9748
+ "learning_rate": 4.724161371946978e-06,
9749
+ "loss": 43.4366,
9750
+ "step": 1387
9751
+ },
9752
+ {
9753
+ "epoch": 0.1376710970045626,
9754
+ "grad_norm": 1.8824591636657715,
9755
+ "learning_rate": 4.661874935679822e-06,
9756
+ "loss": 43.4965,
9757
+ "step": 1388
9758
+ },
9759
+ {
9760
+ "epoch": 0.13777028367387423,
9761
+ "grad_norm": 2.134467124938965,
9762
+ "learning_rate": 4.599992040839118e-06,
9763
+ "loss": 43.329,
9764
+ "step": 1389
9765
+ },
9766
+ {
9767
+ "epoch": 0.13786947034318586,
9768
+ "grad_norm": 2.0056257247924805,
9769
+ "learning_rate": 4.538512949359075e-06,
9770
+ "loss": 43.0327,
9771
+ "step": 1390
9772
+ },
9773
+ {
9774
+ "epoch": 0.13796865701249753,
9775
+ "grad_norm": 2.1297647953033447,
9776
+ "learning_rate": 4.4774379214646225e-06,
9777
+ "loss": 43.2565,
9778
+ "step": 1391
9779
+ },
9780
+ {
9781
+ "epoch": 0.13806784368180916,
9782
+ "grad_norm": 1.80899977684021,
9783
+ "learning_rate": 4.416767215670448e-06,
9784
+ "loss": 43.0096,
9785
+ "step": 1392
9786
+ },
9787
+ {
9788
+ "epoch": 0.13816703035112082,
9789
+ "grad_norm": 2.1779046058654785,
9790
+ "learning_rate": 4.356501088779841e-06,
9791
+ "loss": 43.1146,
9792
+ "step": 1393
9793
+ },
9794
+ {
9795
+ "epoch": 0.13826621702043246,
9796
+ "grad_norm": 2.2874755859375,
9797
+ "learning_rate": 4.296639795883572e-06,
9798
+ "loss": 43.1322,
9799
+ "step": 1394
9800
+ },
9801
+ {
9802
+ "epoch": 0.1383654036897441,
9803
+ "grad_norm": 1.7321752309799194,
9804
+ "learning_rate": 4.237183590358928e-06,
9805
+ "loss": 43.2184,
9806
+ "step": 1395
9807
+ },
9808
+ {
9809
+ "epoch": 0.13846459035905576,
9810
+ "grad_norm": 2.2388689517974854,
9811
+ "learning_rate": 4.178132723868477e-06,
9812
+ "loss": 43.6094,
9813
+ "step": 1396
9814
+ },
9815
+ {
9816
+ "epoch": 0.1385637770283674,
9817
+ "grad_norm": 1.992551565170288,
9818
+ "learning_rate": 4.119487446359193e-06,
9819
+ "loss": 43.1707,
9820
+ "step": 1397
9821
+ },
9822
+ {
9823
+ "epoch": 0.13866296369767903,
9824
+ "grad_norm": 2.0371286869049072,
9825
+ "learning_rate": 4.061248006061191e-06,
9826
+ "loss": 43.2199,
9827
+ "step": 1398
9828
+ },
9829
+ {
9830
+ "epoch": 0.1387621503669907,
9831
+ "grad_norm": 2.181845188140869,
9832
+ "learning_rate": 4.003414649486892e-06,
9833
+ "loss": 43.2273,
9834
+ "step": 1399
9835
+ },
9836
+ {
9837
+ "epoch": 0.13886133703630232,
9838
+ "grad_norm": 1.8432098627090454,
9839
+ "learning_rate": 3.94598762142977e-06,
9840
+ "loss": 43.3462,
9841
+ "step": 1400
9842
+ },
9843
+ {
9844
+ "epoch": 0.13896052370561396,
9845
+ "grad_norm": 1.937048077583313,
9846
+ "learning_rate": 3.888967164963498e-06,
9847
+ "loss": 43.1906,
9848
+ "step": 1401
9849
+ },
9850
+ {
9851
+ "epoch": 0.13905971037492562,
9852
+ "grad_norm": 1.9433784484863281,
9853
+ "learning_rate": 3.832353521440768e-06,
9854
+ "loss": 43.3311,
9855
+ "step": 1402
9856
+ },
9857
+ {
9858
+ "epoch": 0.13915889704423726,
9859
+ "grad_norm": 2.5950987339019775,
9860
+ "learning_rate": 3.7761469304923967e-06,
9861
+ "loss": 43.1959,
9862
+ "step": 1403
9863
+ },
9864
+ {
9865
+ "epoch": 0.1392580837135489,
9866
+ "grad_norm": 2.0187675952911377,
9867
+ "learning_rate": 3.720347630026222e-06,
9868
+ "loss": 43.417,
9869
+ "step": 1404
9870
+ },
9871
+ {
9872
+ "epoch": 0.13935727038286055,
9873
+ "grad_norm": 2.4105563163757324,
9874
+ "learning_rate": 3.6649558562261375e-06,
9875
+ "loss": 43.4502,
9876
+ "step": 1405
9877
+ },
9878
+ {
9879
+ "epoch": 0.1394564570521722,
9880
+ "grad_norm": 2.395488739013672,
9881
+ "learning_rate": 3.6099718435510633e-06,
9882
+ "loss": 43.0515,
9883
+ "step": 1406
9884
+ },
9885
+ {
9886
+ "epoch": 0.13955564372148382,
9887
+ "grad_norm": 1.9171357154846191,
9888
+ "learning_rate": 3.555395824734009e-06,
9889
+ "loss": 43.3508,
9890
+ "step": 1407
9891
+ },
9892
+ {
9893
+ "epoch": 0.1396548303907955,
9894
+ "grad_norm": 1.94326913356781,
9895
+ "learning_rate": 3.501228030781034e-06,
9896
+ "loss": 43.2267,
9897
+ "step": 1408
9898
+ },
9899
+ {
9900
+ "epoch": 0.13975401706010712,
9901
+ "grad_norm": 2.010206699371338,
9902
+ "learning_rate": 3.447468690970268e-06,
9903
+ "loss": 43.3639,
9904
+ "step": 1409
9905
+ },
9906
+ {
9907
+ "epoch": 0.13985320372941876,
9908
+ "grad_norm": 2.325780153274536,
9909
+ "learning_rate": 3.3941180328510123e-06,
9910
+ "loss": 43.2116,
9911
+ "step": 1410
9912
+ },
9913
+ {
9914
+ "epoch": 0.13995239039873042,
9915
+ "grad_norm": 2.193591356277466,
9916
+ "learning_rate": 3.341176282242653e-06,
9917
+ "loss": 43.3946,
9918
+ "step": 1411
9919
+ },
9920
+ {
9921
+ "epoch": 0.14005157706804205,
9922
+ "grad_norm": 2.0868961811065674,
9923
+ "learning_rate": 3.288643663233848e-06,
9924
+ "loss": 43.1527,
9925
+ "step": 1412
9926
+ },
9927
+ {
9928
+ "epoch": 0.1401507637373537,
9929
+ "grad_norm": 1.874427080154419,
9930
+ "learning_rate": 3.236520398181464e-06,
9931
+ "loss": 43.3895,
9932
+ "step": 1413
9933
+ },
9934
+ {
9935
+ "epoch": 0.14024995040666535,
9936
+ "grad_norm": 1.8140789270401,
9937
+ "learning_rate": 3.184806707709698e-06,
9938
+ "loss": 43.1514,
9939
+ "step": 1414
9940
+ },
9941
+ {
9942
+ "epoch": 0.140349137075977,
9943
+ "grad_norm": 1.7428981065750122,
9944
+ "learning_rate": 3.133502810709099e-06,
9945
+ "loss": 43.4509,
9946
+ "step": 1415
9947
+ },
9948
+ {
9949
+ "epoch": 0.14044832374528862,
9950
+ "grad_norm": 2.1699752807617188,
9951
+ "learning_rate": 3.082608924335717e-06,
9952
+ "loss": 43.1771,
9953
+ "step": 1416
9954
+ },
9955
+ {
9956
+ "epoch": 0.14054751041460029,
9957
+ "grad_norm": 2.0626633167266846,
9958
+ "learning_rate": 3.0321252640100885e-06,
9959
+ "loss": 43.5371,
9960
+ "step": 1417
9961
+ },
9962
+ {
9963
+ "epoch": 0.14064669708391192,
9964
+ "grad_norm": 2.053748607635498,
9965
+ "learning_rate": 2.9820520434163836e-06,
9966
+ "loss": 43.4088,
9967
+ "step": 1418
9968
+ },
9969
+ {
9970
+ "epoch": 0.14074588375322356,
9971
+ "grad_norm": 2.031611442565918,
9972
+ "learning_rate": 2.932389474501496e-06,
9973
+ "loss": 43.6168,
9974
+ "step": 1419
9975
+ },
9976
+ {
9977
+ "epoch": 0.14084507042253522,
9978
+ "grad_norm": 2.2878761291503906,
9979
+ "learning_rate": 2.88313776747412e-06,
9980
+ "loss": 43.3679,
9981
+ "step": 1420
9982
+ },
9983
+ {
9984
+ "epoch": 0.14094425709184685,
9985
+ "grad_norm": 1.8133399486541748,
9986
+ "learning_rate": 2.834297130803909e-06,
9987
+ "loss": 43.2068,
9988
+ "step": 1421
9989
+ },
9990
+ {
9991
+ "epoch": 0.1410434437611585,
9992
+ "grad_norm": 2.0135884284973145,
9993
+ "learning_rate": 2.7858677712205296e-06,
9994
+ "loss": 43.1477,
9995
+ "step": 1422
9996
+ },
9997
+ {
9998
+ "epoch": 0.14114263043047015,
9999
+ "grad_norm": 1.9554595947265625,
10000
+ "learning_rate": 2.7378498937128404e-06,
10001
+ "loss": 43.3352,
10002
+ "step": 1423
10003
+ },
10004
+ {
10005
+ "epoch": 0.14124181709978179,
10006
+ "grad_norm": 1.9702895879745483,
10007
+ "learning_rate": 2.6902437015279837e-06,
10008
+ "loss": 43.4386,
10009
+ "step": 1424
10010
+ },
10011
+ {
10012
+ "epoch": 0.14134100376909342,
10013
+ "grad_norm": 2.0473744869232178,
10014
+ "learning_rate": 2.6430493961705937e-06,
10015
+ "loss": 43.3568,
10016
+ "step": 1425
10017
+ },
10018
+ {
10019
+ "epoch": 0.14144019043840508,
10020
+ "grad_norm": 2.1810948848724365,
10021
+ "learning_rate": 2.5962671774018234e-06,
10022
+ "loss": 42.9775,
10023
+ "step": 1426
10024
+ },
10025
+ {
10026
+ "epoch": 0.14153937710771672,
10027
+ "grad_norm": 1.9952651262283325,
10028
+ "learning_rate": 2.549897243238619e-06,
10029
+ "loss": 43.1992,
10030
+ "step": 1427
10031
+ },
10032
+ {
10033
+ "epoch": 0.14163856377702838,
10034
+ "grad_norm": 2.113675832748413,
10035
+ "learning_rate": 2.503939789952825e-06,
10036
+ "loss": 43.426,
10037
+ "step": 1428
10038
+ },
10039
+ {
10040
+ "epoch": 0.14173775044634002,
10041
+ "grad_norm": 1.946372628211975,
10042
+ "learning_rate": 2.458395012070369e-06,
10043
+ "loss": 43.1353,
10044
+ "step": 1429
10045
+ },
10046
+ {
10047
+ "epoch": 0.14183693711565165,
10048
+ "grad_norm": 2.023200750350952,
10049
+ "learning_rate": 2.4132631023704e-06,
10050
+ "loss": 43.2011,
10051
+ "step": 1430
10052
+ },
10053
+ {
10054
+ "epoch": 0.14193612378496331,
10055
+ "grad_norm": 2.0508205890655518,
10056
+ "learning_rate": 2.3685442518845522e-06,
10057
+ "loss": 43.2194,
10058
+ "step": 1431
10059
+ },
10060
+ {
10061
+ "epoch": 0.14203531045427495,
10062
+ "grad_norm": 2.032804489135742,
10063
+ "learning_rate": 2.3242386498960266e-06,
10064
+ "loss": 43.2455,
10065
+ "step": 1432
10066
+ },
10067
+ {
10068
+ "epoch": 0.14213449712358658,
10069
+ "grad_norm": 2.1437833309173584,
10070
+ "learning_rate": 2.2803464839388998e-06,
10071
+ "loss": 43.2066,
10072
+ "step": 1433
10073
+ },
10074
+ {
10075
+ "epoch": 0.14223368379289825,
10076
+ "grad_norm": 2.121809482574463,
10077
+ "learning_rate": 2.2368679397972824e-06,
10078
+ "loss": 43.0669,
10079
+ "step": 1434
10080
+ },
10081
+ {
10082
+ "epoch": 0.14233287046220988,
10083
+ "grad_norm": 1.9407131671905518,
10084
+ "learning_rate": 2.1938032015044964e-06,
10085
+ "loss": 43.597,
10086
+ "step": 1435
10087
+ },
10088
+ {
10089
+ "epoch": 0.14243205713152152,
10090
+ "grad_norm": 1.904272198677063,
10091
+ "learning_rate": 2.151152451342364e-06,
10092
+ "loss": 43.0514,
10093
+ "step": 1436
10094
+ },
10095
+ {
10096
+ "epoch": 0.14253124380083318,
10097
+ "grad_norm": 2.0880041122436523,
10098
+ "learning_rate": 2.1089158698403665e-06,
10099
+ "loss": 43.1989,
10100
+ "step": 1437
10101
+ },
10102
+ {
10103
+ "epoch": 0.14263043047014481,
10104
+ "grad_norm": 1.813359260559082,
10105
+ "learning_rate": 2.067093635774975e-06,
10106
+ "loss": 43.3236,
10107
+ "step": 1438
10108
+ },
10109
+ {
10110
+ "epoch": 0.14272961713945645,
10111
+ "grad_norm": 2.1034488677978516,
10112
+ "learning_rate": 2.0256859261687856e-06,
10113
+ "loss": 43.2322,
10114
+ "step": 1439
10115
+ },
10116
+ {
10117
+ "epoch": 0.1428288038087681,
10118
+ "grad_norm": 1.979280948638916,
10119
+ "learning_rate": 1.984692916289832e-06,
10120
+ "loss": 43.4587,
10121
+ "step": 1440
10122
+ },
10123
+ {
10124
+ "epoch": 0.14292799047807975,
10125
+ "grad_norm": 2.622344732284546,
10126
+ "learning_rate": 1.9441147796508407e-06,
10127
+ "loss": 43.1863,
10128
+ "step": 1441
10129
+ },
10130
+ {
10131
+ "epoch": 0.14302717714739138,
10132
+ "grad_norm": 2.316920518875122,
10133
+ "learning_rate": 1.9039516880084873e-06,
10134
+ "loss": 43.2889,
10135
+ "step": 1442
10136
+ },
10137
+ {
10138
+ "epoch": 0.14312636381670304,
10139
+ "grad_norm": 1.8629003763198853,
10140
+ "learning_rate": 1.8642038113626635e-06,
10141
+ "loss": 43.2849,
10142
+ "step": 1443
10143
+ },
10144
+ {
10145
+ "epoch": 0.14322555048601468,
10146
+ "grad_norm": 1.8128821849822998,
10147
+ "learning_rate": 1.8248713179557786e-06,
10148
+ "loss": 43.5935,
10149
+ "step": 1444
10150
+ },
10151
+ {
10152
+ "epoch": 0.14332473715532631,
10153
+ "grad_norm": 2.1895546913146973,
10154
+ "learning_rate": 1.785954374272003e-06,
10155
+ "loss": 43.1179,
10156
+ "step": 1445
10157
+ },
10158
+ {
10159
+ "epoch": 0.14342392382463798,
10160
+ "grad_norm": 1.8723267316818237,
10161
+ "learning_rate": 1.7474531450366371e-06,
10162
+ "loss": 43.4893,
10163
+ "step": 1446
10164
+ },
10165
+ {
10166
+ "epoch": 0.1435231104939496,
10167
+ "grad_norm": 2.146305799484253,
10168
+ "learning_rate": 1.7093677932153218e-06,
10169
+ "loss": 43.4065,
10170
+ "step": 1447
10171
+ },
10172
+ {
10173
+ "epoch": 0.14362229716326125,
10174
+ "grad_norm": 2.2784523963928223,
10175
+ "learning_rate": 1.6716984800134282e-06,
10176
+ "loss": 43.2687,
10177
+ "step": 1448
10178
+ },
10179
+ {
10180
+ "epoch": 0.1437214838325729,
10181
+ "grad_norm": 2.066173791885376,
10182
+ "learning_rate": 1.6344453648753588e-06,
10183
+ "loss": 43.2307,
10184
+ "step": 1449
10185
+ },
10186
+ {
10187
+ "epoch": 0.14382067050188455,
10188
+ "grad_norm": 2.0641512870788574,
10189
+ "learning_rate": 1.5976086054838025e-06,
10190
+ "loss": 43.3932,
10191
+ "step": 1450
10192
+ },
10193
+ {
10194
+ "epoch": 0.14391985717119618,
10195
+ "grad_norm": 1.8807092905044556,
10196
+ "learning_rate": 1.5611883577591912e-06,
10197
+ "loss": 43.2905,
10198
+ "step": 1451
10199
+ },
10200
+ {
10201
+ "epoch": 0.14401904384050784,
10202
+ "grad_norm": 2.4049503803253174,
10203
+ "learning_rate": 1.5251847758589121e-06,
10204
+ "loss": 43.0874,
10205
+ "step": 1452
10206
+ },
10207
+ {
10208
+ "epoch": 0.14411823050981948,
10209
+ "grad_norm": 2.178377389907837,
10210
+ "learning_rate": 1.4895980121767627e-06,
10211
+ "loss": 43.3295,
10212
+ "step": 1453
10213
+ },
10214
+ {
10215
+ "epoch": 0.1442174171791311,
10216
+ "grad_norm": 2.1683950424194336,
10217
+ "learning_rate": 1.4544282173422074e-06,
10218
+ "loss": 43.3708,
10219
+ "step": 1454
10220
+ },
10221
+ {
10222
+ "epoch": 0.14431660384844278,
10223
+ "grad_norm": 2.144456624984741,
10224
+ "learning_rate": 1.4196755402198448e-06,
10225
+ "loss": 43.3268,
10226
+ "step": 1455
10227
+ },
10228
+ {
10229
+ "epoch": 0.1444157905177544,
10230
+ "grad_norm": 2.1770358085632324,
10231
+ "learning_rate": 1.3853401279086854e-06,
10232
+ "loss": 43.3516,
10233
+ "step": 1456
10234
+ },
10235
+ {
10236
+ "epoch": 0.14451497718706605,
10237
+ "grad_norm": 2.203105926513672,
10238
+ "learning_rate": 1.3514221257415748e-06,
10239
+ "loss": 43.2459,
10240
+ "step": 1457
10241
+ },
10242
+ {
10243
+ "epoch": 0.1446141638563777,
10244
+ "grad_norm": 1.9053125381469727,
10245
+ "learning_rate": 1.3179216772845727e-06,
10246
+ "loss": 43.2546,
10247
+ "step": 1458
10248
+ },
10249
+ {
10250
+ "epoch": 0.14471335052568934,
10251
+ "grad_norm": 2.0264782905578613,
10252
+ "learning_rate": 1.2848389243363512e-06,
10253
+ "loss": 43.2631,
10254
+ "step": 1459
10255
+ },
10256
+ {
10257
+ "epoch": 0.14481253719500098,
10258
+ "grad_norm": 1.9565973281860352,
10259
+ "learning_rate": 1.2521740069275644e-06,
10260
+ "loss": 43.4172,
10261
+ "step": 1460
10262
+ },
10263
+ {
10264
+ "epoch": 0.14491172386431264,
10265
+ "grad_norm": 1.9662400484085083,
10266
+ "learning_rate": 1.219927063320303e-06,
10267
+ "loss": 43.2851,
10268
+ "step": 1461
10269
+ },
10270
+ {
10271
+ "epoch": 0.14501091053362428,
10272
+ "grad_norm": 1.6376630067825317,
10273
+ "learning_rate": 1.1880982300074838e-06,
10274
+ "loss": 43.4667,
10275
+ "step": 1462
10276
+ },
10277
+ {
10278
+ "epoch": 0.14511009720293594,
10279
+ "grad_norm": 2.073845863342285,
10280
+ "learning_rate": 1.1566876417122285e-06,
10281
+ "loss": 43.1126,
10282
+ "step": 1463
10283
+ },
10284
+ {
10285
+ "epoch": 0.14520928387224757,
10286
+ "grad_norm": 2.2647864818573,
10287
+ "learning_rate": 1.1256954313873858e-06,
10288
+ "loss": 43.2001,
10289
+ "step": 1464
10290
+ },
10291
+ {
10292
+ "epoch": 0.1453084705415592,
10293
+ "grad_norm": 2.2635481357574463,
10294
+ "learning_rate": 1.0951217302148986e-06,
10295
+ "loss": 43.2655,
10296
+ "step": 1465
10297
+ },
10298
+ {
10299
+ "epoch": 0.14540765721087087,
10300
+ "grad_norm": 2.0819239616394043,
10301
+ "learning_rate": 1.0649666676052828e-06,
10302
+ "loss": 43.3746,
10303
+ "step": 1466
10304
+ },
10305
+ {
10306
+ "epoch": 0.1455068438801825,
10307
+ "grad_norm": 1.84273362159729,
10308
+ "learning_rate": 1.0352303711970379e-06,
10309
+ "loss": 43.547,
10310
+ "step": 1467
10311
+ },
10312
+ {
10313
+ "epoch": 0.14560603054949414,
10314
+ "grad_norm": 1.9994412660598755,
10315
+ "learning_rate": 1.0059129668561707e-06,
10316
+ "loss": 43.311,
10317
+ "step": 1468
10318
+ },
10319
+ {
10320
+ "epoch": 0.1457052172188058,
10321
+ "grad_norm": 1.9508692026138306,
10322
+ "learning_rate": 9.770145786755946e-07,
10323
+ "loss": 43.2921,
10324
+ "step": 1469
10325
+ },
10326
+ {
10327
+ "epoch": 0.14580440388811744,
10328
+ "grad_norm": 2.2198736667633057,
10329
+ "learning_rate": 9.485353289746645e-07,
10330
+ "loss": 43.4834,
10331
+ "step": 1470
10332
+ },
10333
+ {
10334
+ "epoch": 0.14590359055742907,
10335
+ "grad_norm": 1.7677615880966187,
10336
+ "learning_rate": 9.204753382986097e-07,
10337
+ "loss": 43.3114,
10338
+ "step": 1471
10339
+ },
10340
+ {
10341
+ "epoch": 0.14600277722674074,
10342
+ "grad_norm": 2.2032389640808105,
10343
+ "learning_rate": 8.92834725418068e-07,
10344
+ "loss": 43.2516,
10345
+ "step": 1472
10346
+ },
10347
+ {
10348
+ "epoch": 0.14610196389605237,
10349
+ "grad_norm": 1.672240972518921,
10350
+ "learning_rate": 8.656136073285303e-07,
10351
+ "loss": 43.4628,
10352
+ "step": 1473
10353
+ },
10354
+ {
10355
+ "epoch": 0.146201150565364,
10356
+ "grad_norm": 2.144817352294922,
10357
+ "learning_rate": 8.388120992499083e-07,
10358
+ "loss": 43.451,
10359
+ "step": 1474
10360
+ },
10361
+ {
10362
+ "epoch": 0.14630033723467567,
10363
+ "grad_norm": 2.099653482437134,
10364
+ "learning_rate": 8.124303146259782e-07,
10365
+ "loss": 43.2155,
10366
+ "step": 1475
10367
+ },
10368
+ {
10369
+ "epoch": 0.1463995239039873,
10370
+ "grad_norm": 2.6512537002563477,
10371
+ "learning_rate": 7.864683651239824e-07,
10372
+ "loss": 42.983,
10373
+ "step": 1476
10374
+ },
10375
+ {
10376
+ "epoch": 0.14649871057329894,
10377
+ "grad_norm": 2.3182458877563477,
10378
+ "learning_rate": 7.609263606340622e-07,
10379
+ "loss": 43.3022,
10380
+ "step": 1477
10381
+ },
10382
+ {
10383
+ "epoch": 0.1465978972426106,
10384
+ "grad_norm": 2.0440011024475098,
10385
+ "learning_rate": 7.358044092688699e-07,
10386
+ "loss": 43.3016,
10387
+ "step": 1478
10388
+ },
10389
+ {
10390
+ "epoch": 0.14669708391192224,
10391
+ "grad_norm": 2.181492805480957,
10392
+ "learning_rate": 7.111026173630797e-07,
10393
+ "loss": 43.1403,
10394
+ "step": 1479
10395
+ },
10396
+ {
10397
+ "epoch": 0.14679627058123387,
10398
+ "grad_norm": 1.6637905836105347,
10399
+ "learning_rate": 6.868210894729332e-07,
10400
+ "loss": 43.4882,
10401
+ "step": 1480
10402
+ },
10403
+ {
10404
+ "epoch": 0.14689545725054554,
10405
+ "grad_norm": 2.085326671600342,
10406
+ "learning_rate": 6.629599283758059e-07,
10407
+ "loss": 43.2251,
10408
+ "step": 1481
10409
+ },
10410
+ {
10411
+ "epoch": 0.14699464391985717,
10412
+ "grad_norm": 2.2099697589874268,
10413
+ "learning_rate": 6.395192350697743e-07,
10414
+ "loss": 43.2126,
10415
+ "step": 1482
10416
+ },
10417
+ {
10418
+ "epoch": 0.1470938305891688,
10419
+ "grad_norm": 2.3335022926330566,
10420
+ "learning_rate": 6.164991087731831e-07,
10421
+ "loss": 43.3794,
10422
+ "step": 1483
10423
+ },
10424
+ {
10425
+ "epoch": 0.14719301725848047,
10426
+ "grad_norm": 1.7655500173568726,
10427
+ "learning_rate": 5.938996469242231e-07,
10428
+ "loss": 43.4807,
10429
+ "step": 1484
10430
+ },
10431
+ {
10432
+ "epoch": 0.1472922039277921,
10433
+ "grad_norm": 2.487640380859375,
10434
+ "learning_rate": 5.717209451805205e-07,
10435
+ "loss": 42.9848,
10436
+ "step": 1485
10437
+ },
10438
+ {
10439
+ "epoch": 0.14739139059710374,
10440
+ "grad_norm": 1.804437279701233,
10441
+ "learning_rate": 5.499630974187375e-07,
10442
+ "loss": 43.4311,
10443
+ "step": 1486
10444
+ },
10445
+ {
10446
+ "epoch": 0.1474905772664154,
10447
+ "grad_norm": 2.1954946517944336,
10448
+ "learning_rate": 5.286261957341831e-07,
10449
+ "loss": 42.9627,
10450
+ "step": 1487
10451
+ },
10452
+ {
10453
+ "epoch": 0.14758976393572704,
10454
+ "grad_norm": 2.0663084983825684,
10455
+ "learning_rate": 5.077103304403807e-07,
10456
+ "loss": 43.292,
10457
+ "step": 1488
10458
+ },
10459
+ {
10460
+ "epoch": 0.14768895060503867,
10461
+ "grad_norm": 2.280759811401367,
10462
+ "learning_rate": 4.872155900687347e-07,
10463
+ "loss": 43.044,
10464
+ "step": 1489
10465
+ },
10466
+ {
10467
+ "epoch": 0.14778813727435033,
10468
+ "grad_norm": 2.1535468101501465,
10469
+ "learning_rate": 4.671420613681643e-07,
10470
+ "loss": 43.2001,
10471
+ "step": 1490
10472
+ },
10473
+ {
10474
+ "epoch": 0.14788732394366197,
10475
+ "grad_norm": 2.0268213748931885,
10476
+ "learning_rate": 4.4748982930465923e-07,
10477
+ "loss": 43.3799,
10478
+ "step": 1491
10479
+ },
10480
+ {
10481
+ "epoch": 0.1479865106129736,
10482
+ "grad_norm": 1.9153803586959839,
10483
+ "learning_rate": 4.2825897706100235e-07,
10484
+ "loss": 43.1269,
10485
+ "step": 1492
10486
+ },
10487
+ {
10488
+ "epoch": 0.14808569728228527,
10489
+ "grad_norm": 2.1148533821105957,
10490
+ "learning_rate": 4.09449586036359e-07,
10491
+ "loss": 43.2859,
10492
+ "step": 1493
10493
+ },
10494
+ {
10495
+ "epoch": 0.1481848839515969,
10496
+ "grad_norm": 2.9361672401428223,
10497
+ "learning_rate": 3.9106173584601e-07,
10498
+ "loss": 43.5126,
10499
+ "step": 1494
10500
+ },
10501
+ {
10502
+ "epoch": 0.14828407062090854,
10503
+ "grad_norm": 2.002664804458618,
10504
+ "learning_rate": 3.7309550432090835e-07,
10505
+ "loss": 43.1279,
10506
+ "step": 1495
10507
+ },
10508
+ {
10509
+ "epoch": 0.1483832572902202,
10510
+ "grad_norm": 2.234067678451538,
10511
+ "learning_rate": 3.5555096750743424e-07,
10512
+ "loss": 43.5213,
10513
+ "step": 1496
10514
+ },
10515
+ {
10516
+ "epoch": 0.14848244395953183,
10517
+ "grad_norm": 2.1555521488189697,
10518
+ "learning_rate": 3.384281996670402e-07,
10519
+ "loss": 43.3817,
10520
+ "step": 1497
10521
+ },
10522
+ {
10523
+ "epoch": 0.14858163062884347,
10524
+ "grad_norm": 2.080760955810547,
10525
+ "learning_rate": 3.217272732759402e-07,
10526
+ "loss": 43.3713,
10527
+ "step": 1498
10528
+ },
10529
+ {
10530
+ "epoch": 0.14868081729815513,
10531
+ "grad_norm": 2.126169443130493,
10532
+ "learning_rate": 3.054482590247876e-07,
10533
+ "loss": 43.1336,
10534
+ "step": 1499
10535
+ },
10536
+ {
10537
+ "epoch": 0.14878000396746677,
10538
+ "grad_norm": 1.7946844100952148,
10539
+ "learning_rate": 2.8959122581840857e-07,
10540
+ "loss": 43.0998,
10541
+ "step": 1500
10542
+ },
10543
+ {
10544
+ "epoch": 0.14887919063677843,
10545
+ "grad_norm": 1.9658114910125732,
10546
+ "learning_rate": 2.741562407755138e-07,
10547
+ "loss": 43.256,
10548
+ "step": 1501
10549
+ },
10550
+ {
10551
+ "epoch": 0.14897837730609007,
10552
+ "grad_norm": 2.403459310531616,
10553
+ "learning_rate": 2.5914336922833183e-07,
10554
+ "loss": 43.117,
10555
+ "step": 1502
10556
+ },
10557
+ {
10558
+ "epoch": 0.1490775639754017,
10559
+ "grad_norm": 2.071451425552368,
10560
+ "learning_rate": 2.445526747224647e-07,
10561
+ "loss": 43.3778,
10562
+ "step": 1503
10563
+ },
10564
+ {
10565
+ "epoch": 0.14917675064471336,
10566
+ "grad_norm": 2.062016248703003,
10567
+ "learning_rate": 2.3038421901651064e-07,
10568
+ "loss": 43.6402,
10569
+ "step": 1504
10570
+ },
10571
+ {
10572
+ "epoch": 0.149275937314025,
10573
+ "grad_norm": 2.29769229888916,
10574
+ "learning_rate": 2.1663806208184201e-07,
10575
+ "loss": 43.3161,
10576
+ "step": 1505
10577
+ },
10578
+ {
10579
+ "epoch": 0.14937512398333663,
10580
+ "grad_norm": 2.2068557739257812,
10581
+ "learning_rate": 2.0331426210236093e-07,
10582
+ "loss": 43.3807,
10583
+ "step": 1506
10584
+ },
10585
+ {
10586
+ "epoch": 0.1494743106526483,
10587
+ "grad_norm": 2.1809418201446533,
10588
+ "learning_rate": 1.9041287547424403e-07,
10589
+ "loss": 43.3291,
10590
+ "step": 1507
10591
+ },
10592
+ {
10593
+ "epoch": 0.14957349732195993,
10594
+ "grad_norm": 2.355131149291992,
10595
+ "learning_rate": 1.7793395680568703e-07,
10596
+ "loss": 43.1938,
10597
+ "step": 1508
10598
+ },
10599
+ {
10600
+ "epoch": 0.14967268399127157,
10601
+ "grad_norm": 1.9455194473266602,
10602
+ "learning_rate": 1.6587755891671608e-07,
10603
+ "loss": 43.2039,
10604
+ "step": 1509
10605
+ },
10606
+ {
10607
+ "epoch": 0.14977187066058323,
10608
+ "grad_norm": 2.080108165740967,
10609
+ "learning_rate": 1.5424373283889904e-07,
10610
+ "loss": 43.2726,
10611
+ "step": 1510
10612
+ },
10613
+ {
10614
+ "epoch": 0.14987105732989486,
10615
+ "grad_norm": 2.2005887031555176,
10616
+ "learning_rate": 1.4303252781520114e-07,
10617
+ "loss": 43.4239,
10618
+ "step": 1511
10619
+ },
10620
+ {
10621
+ "epoch": 0.1499702439992065,
10622
+ "grad_norm": 2.1430304050445557,
10623
+ "learning_rate": 1.3224399129971866e-07,
10624
+ "loss": 43.2449,
10625
+ "step": 1512
10626
+ },
10627
+ {
10628
+ "epoch": 0.15006943066851816,
10629
+ "grad_norm": 1.9301306009292603,
10630
+ "learning_rate": 1.2187816895752324e-07,
10631
+ "loss": 43.3271,
10632
+ "step": 1513
10633
+ },
10634
+ {
10635
+ "epoch": 0.1501686173378298,
10636
+ "grad_norm": 2.6255922317504883,
10637
+ "learning_rate": 1.1193510466445123e-07,
10638
+ "loss": 43.4344,
10639
+ "step": 1514
10640
+ },
10641
+ {
10642
+ "epoch": 0.15026780400714143,
10643
+ "grad_norm": 2.2844913005828857,
10644
+ "learning_rate": 1.0241484050687034e-07,
10645
+ "loss": 43.3174,
10646
+ "step": 1515
10647
+ },
10648
+ {
10649
+ "epoch": 0.1503669906764531,
10650
+ "grad_norm": 2.1364171504974365,
10651
+ "learning_rate": 9.3317416781602e-08,
10652
+ "loss": 43.2297,
10653
+ "step": 1516
10654
+ },
10655
+ {
10656
+ "epoch": 0.15046617734576473,
10657
+ "grad_norm": 1.8956122398376465,
10658
+ "learning_rate": 8.46428719956549e-08,
10659
+ "loss": 43.6502,
10660
+ "step": 1517
10661
+ },
10662
+ {
10663
+ "epoch": 0.15056536401507636,
10664
+ "grad_norm": 2.3670010566711426,
10665
+ "learning_rate": 7.639124286612509e-08,
10666
+ "loss": 43.1647,
10667
+ "step": 1518
10668
+ },
10669
+ {
10670
+ "epoch": 0.15066455068438803,
10671
+ "grad_norm": 2.168613910675049,
10672
+ "learning_rate": 6.856256432000718e-08,
10673
+ "loss": 43.2205,
10674
+ "step": 1519
10675
+ },
10676
+ {
10677
+ "epoch": 0.15076373735369966,
10678
+ "grad_norm": 2.2199530601501465,
10679
+ "learning_rate": 6.115686949405008e-08,
10680
+ "loss": 43.4035,
10681
+ "step": 1520
10682
+ },
10683
+ {
10684
+ "epoch": 0.1508629240230113,
10685
+ "grad_norm": 1.9278777837753296,
10686
+ "learning_rate": 5.417418973462374e-08,
10687
+ "loss": 43.4381,
10688
+ "step": 1521
10689
+ },
10690
+ {
10691
+ "epoch": 0.15096211069232296,
10692
+ "grad_norm": 1.9266911745071411,
10693
+ "learning_rate": 4.7614554597608105e-08,
10694
+ "loss": 42.9214,
10695
+ "step": 1522
10696
+ },
10697
+ {
10698
+ "epoch": 0.1510612973616346,
10699
+ "grad_norm": 2.1948959827423096,
10700
+ "learning_rate": 4.147799184821555e-08,
10701
+ "loss": 43.3784,
10702
+ "step": 1523
10703
+ },
10704
+ {
10705
+ "epoch": 0.15116048403094623,
10706
+ "grad_norm": 2.2459158897399902,
10707
+ "learning_rate": 3.576452746092418e-08,
10708
+ "loss": 43.157,
10709
+ "step": 1524
10710
+ },
10711
+ {
10712
+ "epoch": 0.1512596707002579,
10713
+ "grad_norm": 1.832255244255066,
10714
+ "learning_rate": 3.047418561933357e-08,
10715
+ "loss": 43.1398,
10716
+ "step": 1525
10717
+ },
10718
+ {
10719
+ "epoch": 0.15135885736956953,
10720
+ "grad_norm": 2.164360761642456,
10721
+ "learning_rate": 2.5606988716075918e-08,
10722
+ "loss": 43.4648,
10723
+ "step": 1526
10724
+ },
10725
+ {
10726
+ "epoch": 0.15145804403888116,
10727
+ "grad_norm": 2.135101318359375,
10728
+ "learning_rate": 2.1162957352738323e-08,
10729
+ "loss": 43.3128,
10730
+ "step": 1527
10731
+ },
10732
+ {
10733
+ "epoch": 0.15155723070819282,
10734
+ "grad_norm": 1.6633306741714478,
10735
+ "learning_rate": 1.7142110339740668e-08,
10736
+ "loss": 43.4242,
10737
+ "step": 1528
10738
+ },
10739
+ {
10740
+ "epoch": 0.15165641737750446,
10741
+ "grad_norm": 2.3267548084259033,
10742
+ "learning_rate": 1.3544464696280124e-08,
10743
+ "loss": 43.4299,
10744
+ "step": 1529
10745
+ },
10746
+ {
10747
+ "epoch": 0.1517556040468161,
10748
+ "grad_norm": 1.9193159341812134,
10749
+ "learning_rate": 1.0370035650253407e-08,
10750
+ "loss": 43.2334,
10751
+ "step": 1530
10752
+ },
10753
+ {
10754
+ "epoch": 0.15185479071612776,
10755
+ "grad_norm": 1.8524115085601807,
10756
+ "learning_rate": 7.618836638190186e-09,
10757
+ "loss": 43.5525,
10758
+ "step": 1531
10759
+ },
10760
+ {
10761
+ "epoch": 0.1519539773854394,
10762
+ "grad_norm": 2.0548107624053955,
10763
+ "learning_rate": 5.29087930519756e-09,
10764
+ "loss": 43.15,
10765
+ "step": 1532
10766
+ },
10767
+ {
10768
+ "epoch": 0.15205316405475103,
10769
+ "grad_norm": 1.9881281852722168,
10770
+ "learning_rate": 3.3861735049267597e-09,
10771
+ "loss": 43.4443,
10772
+ "step": 1533
10773
+ },
10774
+ {
10775
+ "epoch": 0.1521523507240627,
10776
+ "grad_norm": 2.0406267642974854,
10777
+ "learning_rate": 1.904727299473219e-09,
10778
+ "loss": 43.1231,
10779
+ "step": 1534
10780
+ },
10781
+ {
10782
+ "epoch": 0.15225153739337433,
10783
+ "grad_norm": 2.137437582015991,
10784
+ "learning_rate": 8.465469594431952e-10,
10785
+ "loss": 43.3994,
10786
+ "step": 1535
10787
+ },
10788
+ {
10789
+ "epoch": 0.152350724062686,
10790
+ "grad_norm": 2.3377254009246826,
10791
+ "learning_rate": 2.116369638094362e-10,
10792
+ "loss": 43.3795,
10793
+ "step": 1536
10794
+ },
10795
+ {
10796
+ "epoch": 0.15244991073199762,
10797
+ "grad_norm": 1.9583935737609863,
10798
+ "learning_rate": 0.0,
10799
+ "loss": 43.5157,
10800
+ "step": 1537
10801
  }
10802
  ],
10803
  "logging_steps": 1,
 
10812
  "should_evaluate": false,
10813
  "should_log": false,
10814
  "should_save": true,
10815
+ "should_training_stop": true
10816
  },
10817
  "attributes": {}
10818
  }
10819
  },
10820
+ "total_flos": 14932564770816.0,
10821
  "train_batch_size": 2,
10822
  "trial_name": null,
10823
  "trial_params": null