{
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 3.0,
"eval_steps": 500,
"global_step": 864,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.003472222222222222,
"grad_norm": 9.143418312072754,
"learning_rate": 1.9230769230769234e-07,
"loss": 0.4412,
"step": 1
},
{
"epoch": 0.006944444444444444,
"grad_norm": 5.692189693450928,
"learning_rate": 3.846153846153847e-07,
"loss": 0.3612,
"step": 2
},
{
"epoch": 0.010416666666666666,
"grad_norm": 8.714964866638184,
"learning_rate": 5.76923076923077e-07,
"loss": 0.4317,
"step": 3
},
{
"epoch": 0.013888888888888888,
"grad_norm": 6.462607383728027,
"learning_rate": 7.692307692307694e-07,
"loss": 0.3863,
"step": 4
},
{
"epoch": 0.017361111111111112,
"grad_norm": 6.752634525299072,
"learning_rate": 9.615384615384617e-07,
"loss": 0.3942,
"step": 5
},
{
"epoch": 0.020833333333333332,
"grad_norm": 5.007726192474365,
"learning_rate": 1.153846153846154e-06,
"loss": 0.3527,
"step": 6
},
{
"epoch": 0.024305555555555556,
"grad_norm": 10.097623825073242,
"learning_rate": 1.3461538461538462e-06,
"loss": 0.4375,
"step": 7
},
{
"epoch": 0.027777777777777776,
"grad_norm": 5.444087982177734,
"learning_rate": 1.5384615384615387e-06,
"loss": 0.3295,
"step": 8
},
{
"epoch": 0.03125,
"grad_norm": 5.880770683288574,
"learning_rate": 1.7307692307692308e-06,
"loss": 0.342,
"step": 9
},
{
"epoch": 0.034722222222222224,
"grad_norm": 5.850656986236572,
"learning_rate": 1.9230769230769234e-06,
"loss": 0.3204,
"step": 10
},
{
"epoch": 0.03819444444444445,
"grad_norm": 2.3554506301879883,
"learning_rate": 2.1153846153846155e-06,
"loss": 0.2392,
"step": 11
},
{
"epoch": 0.041666666666666664,
"grad_norm": 2.3278982639312744,
"learning_rate": 2.307692307692308e-06,
"loss": 0.2406,
"step": 12
},
{
"epoch": 0.04513888888888889,
"grad_norm": 2.1902029514312744,
"learning_rate": 2.5e-06,
"loss": 0.221,
"step": 13
},
{
"epoch": 0.04861111111111111,
"grad_norm": 1.8376996517181396,
"learning_rate": 2.6923076923076923e-06,
"loss": 0.2044,
"step": 14
},
{
"epoch": 0.052083333333333336,
"grad_norm": 1.3121569156646729,
"learning_rate": 2.8846153846153845e-06,
"loss": 0.1636,
"step": 15
},
{
"epoch": 0.05555555555555555,
"grad_norm": 1.1748747825622559,
"learning_rate": 3.0769230769230774e-06,
"loss": 0.1611,
"step": 16
},
{
"epoch": 0.059027777777777776,
"grad_norm": 4.9017252922058105,
"learning_rate": 3.2692307692307696e-06,
"loss": 0.1529,
"step": 17
},
{
"epoch": 0.0625,
"grad_norm": 1.0161631107330322,
"learning_rate": 3.4615384615384617e-06,
"loss": 0.1438,
"step": 18
},
{
"epoch": 0.06597222222222222,
"grad_norm": 1.0789623260498047,
"learning_rate": 3.653846153846154e-06,
"loss": 0.1376,
"step": 19
},
{
"epoch": 0.06944444444444445,
"grad_norm": 1.0161643028259277,
"learning_rate": 3.846153846153847e-06,
"loss": 0.1201,
"step": 20
},
{
"epoch": 0.07291666666666667,
"grad_norm": 0.8355692625045776,
"learning_rate": 4.0384615384615385e-06,
"loss": 0.1141,
"step": 21
},
{
"epoch": 0.0763888888888889,
"grad_norm": 0.8423459529876709,
"learning_rate": 4.230769230769231e-06,
"loss": 0.1093,
"step": 22
},
{
"epoch": 0.0798611111111111,
"grad_norm": 0.6619585752487183,
"learning_rate": 4.423076923076924e-06,
"loss": 0.1012,
"step": 23
},
{
"epoch": 0.08333333333333333,
"grad_norm": 0.6417743563652039,
"learning_rate": 4.615384615384616e-06,
"loss": 0.0994,
"step": 24
},
{
"epoch": 0.08680555555555555,
"grad_norm": 1.0830308198928833,
"learning_rate": 4.807692307692308e-06,
"loss": 0.0986,
"step": 25
},
{
"epoch": 0.09027777777777778,
"grad_norm": 0.5724624395370483,
"learning_rate": 5e-06,
"loss": 0.095,
"step": 26
},
{
"epoch": 0.09375,
"grad_norm": 0.6061978936195374,
"learning_rate": 4.999982432044913e-06,
"loss": 0.0952,
"step": 27
},
{
"epoch": 0.09722222222222222,
"grad_norm": 0.521072268486023,
"learning_rate": 4.999929728426558e-06,
"loss": 0.0879,
"step": 28
},
{
"epoch": 0.10069444444444445,
"grad_norm": 0.47806334495544434,
"learning_rate": 4.999841889885651e-06,
"loss": 0.0858,
"step": 29
},
{
"epoch": 0.10416666666666667,
"grad_norm": 0.3314768671989441,
"learning_rate": 4.999718917656705e-06,
"loss": 0.0843,
"step": 30
},
{
"epoch": 0.1076388888888889,
"grad_norm": 0.38829582929611206,
"learning_rate": 4.999560813468019e-06,
"loss": 0.0822,
"step": 31
},
{
"epoch": 0.1111111111111111,
"grad_norm": 0.3185882866382599,
"learning_rate": 4.999367579541647e-06,
"loss": 0.0778,
"step": 32
},
{
"epoch": 0.11458333333333333,
"grad_norm": 0.6252641081809998,
"learning_rate": 4.999139218593367e-06,
"loss": 0.0806,
"step": 33
},
{
"epoch": 0.11805555555555555,
"grad_norm": 0.3952082395553589,
"learning_rate": 4.9988757338326474e-06,
"loss": 0.0777,
"step": 34
},
{
"epoch": 0.12152777777777778,
"grad_norm": 0.40102440118789673,
"learning_rate": 4.9985771289625995e-06,
"loss": 0.0775,
"step": 35
},
{
"epoch": 0.125,
"grad_norm": 0.25240015983581543,
"learning_rate": 4.998243408179926e-06,
"loss": 0.0743,
"step": 36
},
{
"epoch": 0.1284722222222222,
"grad_norm": 0.264276385307312,
"learning_rate": 4.997874576174857e-06,
"loss": 0.0715,
"step": 37
},
{
"epoch": 0.13194444444444445,
"grad_norm": 0.573332667350769,
"learning_rate": 4.997470638131094e-06,
"loss": 0.0723,
"step": 38
},
{
"epoch": 0.13541666666666666,
"grad_norm": 0.24950316548347473,
"learning_rate": 4.99703159972573e-06,
"loss": 0.0712,
"step": 39
},
{
"epoch": 0.1388888888888889,
"grad_norm": 0.3155728578567505,
"learning_rate": 4.99655746712917e-06,
"loss": 0.0712,
"step": 40
},
{
"epoch": 0.1423611111111111,
"grad_norm": 0.2202472686767578,
"learning_rate": 4.996048247005045e-06,
"loss": 0.0691,
"step": 41
},
{
"epoch": 0.14583333333333334,
"grad_norm": 0.1996021568775177,
"learning_rate": 4.995503946510121e-06,
"loss": 0.0683,
"step": 42
},
{
"epoch": 0.14930555555555555,
"grad_norm": 0.18836352229118347,
"learning_rate": 4.994924573294195e-06,
"loss": 0.0685,
"step": 43
},
{
"epoch": 0.1527777777777778,
"grad_norm": 0.23543813824653625,
"learning_rate": 4.99431013549999e-06,
"loss": 0.0671,
"step": 44
},
{
"epoch": 0.15625,
"grad_norm": 0.1790906935930252,
"learning_rate": 4.993660641763036e-06,
"loss": 0.065,
"step": 45
},
{
"epoch": 0.1597222222222222,
"grad_norm": 0.1717810034751892,
"learning_rate": 4.992976101211558e-06,
"loss": 0.0656,
"step": 46
},
{
"epoch": 0.16319444444444445,
"grad_norm": 0.1621074676513672,
"learning_rate": 4.992256523466335e-06,
"loss": 0.0632,
"step": 47
},
{
"epoch": 0.16666666666666666,
"grad_norm": 0.20394158363342285,
"learning_rate": 4.991501918640576e-06,
"loss": 0.0651,
"step": 48
},
{
"epoch": 0.1701388888888889,
"grad_norm": 0.21701334416866302,
"learning_rate": 4.990712297339772e-06,
"loss": 0.0644,
"step": 49
},
{
"epoch": 0.1736111111111111,
"grad_norm": 0.17352674901485443,
"learning_rate": 4.989887670661549e-06,
"loss": 0.0652,
"step": 50
},
{
"epoch": 0.17708333333333334,
"grad_norm": 0.16254101693630219,
"learning_rate": 4.989028050195509e-06,
"loss": 0.0638,
"step": 51
},
{
"epoch": 0.18055555555555555,
"grad_norm": 0.19063079357147217,
"learning_rate": 4.988133448023071e-06,
"loss": 0.0652,
"step": 52
},
{
"epoch": 0.1840277777777778,
"grad_norm": 0.1698583960533142,
"learning_rate": 4.987203876717302e-06,
"loss": 0.0617,
"step": 53
},
{
"epoch": 0.1875,
"grad_norm": 1.1894266605377197,
"learning_rate": 4.986239349342732e-06,
"loss": 0.0673,
"step": 54
},
{
"epoch": 0.1909722222222222,
"grad_norm": 0.18656675517559052,
"learning_rate": 4.9852398794551824e-06,
"loss": 0.0637,
"step": 55
},
{
"epoch": 0.19444444444444445,
"grad_norm": 0.17882826924324036,
"learning_rate": 4.9842054811015655e-06,
"loss": 0.0608,
"step": 56
},
{
"epoch": 0.19791666666666666,
"grad_norm": 0.22528418898582458,
"learning_rate": 4.983136168819693e-06,
"loss": 0.0606,
"step": 57
},
{
"epoch": 0.2013888888888889,
"grad_norm": 0.17503120005130768,
"learning_rate": 4.9820319576380704e-06,
"loss": 0.0601,
"step": 58
},
{
"epoch": 0.2048611111111111,
"grad_norm": 0.218691885471344,
"learning_rate": 4.980892863075682e-06,
"loss": 0.0594,
"step": 59
},
{
"epoch": 0.20833333333333334,
"grad_norm": 0.16857214272022247,
"learning_rate": 4.979718901141776e-06,
"loss": 0.0591,
"step": 60
},
{
"epoch": 0.21180555555555555,
"grad_norm": 0.14156892895698547,
"learning_rate": 4.9785100883356445e-06,
"loss": 0.0589,
"step": 61
},
{
"epoch": 0.2152777777777778,
"grad_norm": 0.13165761530399323,
"learning_rate": 4.9772664416463805e-06,
"loss": 0.0599,
"step": 62
},
{
"epoch": 0.21875,
"grad_norm": 0.17925940454006195,
"learning_rate": 4.975987978552646e-06,
"loss": 0.0582,
"step": 63
},
{
"epoch": 0.2222222222222222,
"grad_norm": 0.13385337591171265,
"learning_rate": 4.974674717022431e-06,
"loss": 0.0581,
"step": 64
},
{
"epoch": 0.22569444444444445,
"grad_norm": 0.1276213824748993,
"learning_rate": 4.973326675512788e-06,
"loss": 0.058,
"step": 65
},
{
"epoch": 0.22916666666666666,
"grad_norm": 0.14453844726085663,
"learning_rate": 4.971943872969582e-06,
"loss": 0.0577,
"step": 66
},
{
"epoch": 0.2326388888888889,
"grad_norm": 0.1398511379957199,
"learning_rate": 4.970526328827227e-06,
"loss": 0.0563,
"step": 67
},
{
"epoch": 0.2361111111111111,
"grad_norm": 0.1347368359565735,
"learning_rate": 4.969074063008403e-06,
"loss": 0.0575,
"step": 68
},
{
"epoch": 0.23958333333333334,
"grad_norm": 0.33030328154563904,
"learning_rate": 4.96758709592378e-06,
"loss": 0.0568,
"step": 69
},
{
"epoch": 0.24305555555555555,
"grad_norm": 0.10682626813650131,
"learning_rate": 4.966065448471739e-06,
"loss": 0.0541,
"step": 70
},
{
"epoch": 0.2465277777777778,
"grad_norm": 0.1803036779165268,
"learning_rate": 4.964509142038064e-06,
"loss": 0.055,
"step": 71
},
{
"epoch": 0.25,
"grad_norm": 0.1318272054195404,
"learning_rate": 4.9629181984956546e-06,
"loss": 0.0546,
"step": 72
},
{
"epoch": 0.2534722222222222,
"grad_norm": 0.13011488318443298,
"learning_rate": 4.9612926402042084e-06,
"loss": 0.0558,
"step": 73
},
{
"epoch": 0.2569444444444444,
"grad_norm": 0.12468533962965012,
"learning_rate": 4.959632490009914e-06,
"loss": 0.0544,
"step": 74
},
{
"epoch": 0.2604166666666667,
"grad_norm": 0.15634964406490326,
"learning_rate": 4.957937771245128e-06,
"loss": 0.0556,
"step": 75
},
{
"epoch": 0.2638888888888889,
"grad_norm": 0.3014536499977112,
"learning_rate": 4.956208507728044e-06,
"loss": 0.0561,
"step": 76
},
{
"epoch": 0.2673611111111111,
"grad_norm": 0.13210470974445343,
"learning_rate": 4.954444723762362e-06,
"loss": 0.0548,
"step": 77
},
{
"epoch": 0.2708333333333333,
"grad_norm": 0.26827508211135864,
"learning_rate": 4.952646444136942e-06,
"loss": 0.0551,
"step": 78
},
{
"epoch": 0.2743055555555556,
"grad_norm": 0.3850822448730469,
"learning_rate": 4.950813694125462e-06,
"loss": 0.0546,
"step": 79
},
{
"epoch": 0.2777777777777778,
"grad_norm": 0.13222765922546387,
"learning_rate": 4.948946499486057e-06,
"loss": 0.0542,
"step": 80
},
{
"epoch": 0.28125,
"grad_norm": 0.15266184508800507,
"learning_rate": 4.94704488646096e-06,
"loss": 0.0537,
"step": 81
},
{
"epoch": 0.2847222222222222,
"grad_norm": 0.18932130932807922,
"learning_rate": 4.945108881776135e-06,
"loss": 0.0518,
"step": 82
},
{
"epoch": 0.2881944444444444,
"grad_norm": 0.1857946515083313,
"learning_rate": 4.943138512640895e-06,
"loss": 0.052,
"step": 83
},
{
"epoch": 0.2916666666666667,
"grad_norm": 0.18193677067756653,
"learning_rate": 4.941133806747524e-06,
"loss": 0.0546,
"step": 84
},
{
"epoch": 0.2951388888888889,
"grad_norm": 0.15722572803497314,
"learning_rate": 4.939094792270892e-06,
"loss": 0.0525,
"step": 85
},
{
"epoch": 0.2986111111111111,
"grad_norm": 0.14119955897331238,
"learning_rate": 4.937021497868048e-06,
"loss": 0.0536,
"step": 86
},
{
"epoch": 0.3020833333333333,
"grad_norm": 0.24204914271831512,
"learning_rate": 4.934913952677827e-06,
"loss": 0.0521,
"step": 87
},
{
"epoch": 0.3055555555555556,
"grad_norm": 0.1372714340686798,
"learning_rate": 4.932772186320436e-06,
"loss": 0.0512,
"step": 88
},
{
"epoch": 0.3090277777777778,
"grad_norm": 0.2498633712530136,
"learning_rate": 4.9305962288970385e-06,
"loss": 0.0529,
"step": 89
},
{
"epoch": 0.3125,
"grad_norm": 0.11306985467672348,
"learning_rate": 4.928386110989335e-06,
"loss": 0.0505,
"step": 90
},
{
"epoch": 0.3159722222222222,
"grad_norm": 0.12442992627620697,
"learning_rate": 4.9261418636591255e-06,
"loss": 0.0503,
"step": 91
},
{
"epoch": 0.3194444444444444,
"grad_norm": 0.13168303668498993,
"learning_rate": 4.923863518447879e-06,
"loss": 0.0541,
"step": 92
},
{
"epoch": 0.3229166666666667,
"grad_norm": 0.1564704328775406,
"learning_rate": 4.921551107376289e-06,
"loss": 0.052,
"step": 93
},
{
"epoch": 0.3263888888888889,
"grad_norm": 0.11406940966844559,
"learning_rate": 4.919204662943821e-06,
"loss": 0.0502,
"step": 94
},
{
"epoch": 0.3298611111111111,
"grad_norm": 0.34039613604545593,
"learning_rate": 4.9168242181282624e-06,
"loss": 0.052,
"step": 95
},
{
"epoch": 0.3333333333333333,
"grad_norm": 0.14278586208820343,
"learning_rate": 4.9144098063852485e-06,
"loss": 0.0488,
"step": 96
},
{
"epoch": 0.3368055555555556,
"grad_norm": 0.15891773998737335,
"learning_rate": 4.911961461647803e-06,
"loss": 0.0492,
"step": 97
},
{
"epoch": 0.3402777777777778,
"grad_norm": 0.1540294736623764,
"learning_rate": 4.909479218325852e-06,
"loss": 0.0494,
"step": 98
},
{
"epoch": 0.34375,
"grad_norm": 0.12617278099060059,
"learning_rate": 4.906963111305748e-06,
"loss": 0.0487,
"step": 99
},
{
"epoch": 0.3472222222222222,
"grad_norm": 0.12190888822078705,
"learning_rate": 4.9044131759497755e-06,
"loss": 0.0492,
"step": 100
},
{
"epoch": 0.3506944444444444,
"grad_norm": 0.13582740724086761,
"learning_rate": 4.901829448095655e-06,
"loss": 0.0498,
"step": 101
},
{
"epoch": 0.3541666666666667,
"grad_norm": 0.371078759431839,
"learning_rate": 4.899211964056036e-06,
"loss": 0.0505,
"step": 102
},
{
"epoch": 0.3576388888888889,
"grad_norm": 0.3527744710445404,
"learning_rate": 4.896560760617994e-06,
"loss": 0.0512,
"step": 103
},
{
"epoch": 0.3611111111111111,
"grad_norm": 0.11283187568187714,
"learning_rate": 4.893875875042507e-06,
"loss": 0.0492,
"step": 104
},
{
"epoch": 0.3645833333333333,
"grad_norm": 0.15902937948703766,
"learning_rate": 4.891157345063934e-06,
"loss": 0.0485,
"step": 105
},
{
"epoch": 0.3680555555555556,
"grad_norm": 0.11751257628202438,
"learning_rate": 4.888405208889485e-06,
"loss": 0.0473,
"step": 106
},
{
"epoch": 0.3715277777777778,
"grad_norm": 0.1548757553100586,
"learning_rate": 4.885619505198685e-06,
"loss": 0.0496,
"step": 107
},
{
"epoch": 0.375,
"grad_norm": 0.13453996181488037,
"learning_rate": 4.882800273142827e-06,
"loss": 0.0481,
"step": 108
},
{
"epoch": 0.3784722222222222,
"grad_norm": 0.11562646925449371,
"learning_rate": 4.879947552344424e-06,
"loss": 0.0479,
"step": 109
},
{
"epoch": 0.3819444444444444,
"grad_norm": 0.16978201270103455,
"learning_rate": 4.877061382896653e-06,
"loss": 0.048,
"step": 110
},
{
"epoch": 0.3854166666666667,
"grad_norm": 0.1370890736579895,
"learning_rate": 4.8741418053627905e-06,
"loss": 0.0469,
"step": 111
},
{
"epoch": 0.3888888888888889,
"grad_norm": 0.13058441877365112,
"learning_rate": 4.871188860775643e-06,
"loss": 0.0478,
"step": 112
},
{
"epoch": 0.3923611111111111,
"grad_norm": 0.2263036072254181,
"learning_rate": 4.868202590636968e-06,
"loss": 0.0464,
"step": 113
},
{
"epoch": 0.3958333333333333,
"grad_norm": 0.13786663115024567,
"learning_rate": 4.865183036916892e-06,
"loss": 0.0479,
"step": 114
},
{
"epoch": 0.3993055555555556,
"grad_norm": 0.14342691004276276,
"learning_rate": 4.862130242053325e-06,
"loss": 0.0475,
"step": 115
},
{
"epoch": 0.4027777777777778,
"grad_norm": 0.16943736374378204,
"learning_rate": 4.859044248951354e-06,
"loss": 0.0479,
"step": 116
},
{
"epoch": 0.40625,
"grad_norm": 0.2079457938671112,
"learning_rate": 4.855925100982653e-06,
"loss": 0.0479,
"step": 117
},
{
"epoch": 0.4097222222222222,
"grad_norm": 0.33455783128738403,
"learning_rate": 4.852772841984861e-06,
"loss": 0.0481,
"step": 118
},
{
"epoch": 0.4131944444444444,
"grad_norm": 0.1484152376651764,
"learning_rate": 4.849587516260974e-06,
"loss": 0.0463,
"step": 119
},
{
"epoch": 0.4166666666666667,
"grad_norm": 0.26041239500045776,
"learning_rate": 4.846369168578721e-06,
"loss": 0.0473,
"step": 120
},
{
"epoch": 0.4201388888888889,
"grad_norm": 0.18461398780345917,
"learning_rate": 4.8431178441699286e-06,
"loss": 0.0472,
"step": 121
},
{
"epoch": 0.4236111111111111,
"grad_norm": 0.1678476333618164,
"learning_rate": 4.839833588729897e-06,
"loss": 0.0474,
"step": 122
},
{
"epoch": 0.4270833333333333,
"grad_norm": 0.18165849149227142,
"learning_rate": 4.836516448416747e-06,
"loss": 0.0462,
"step": 123
},
{
"epoch": 0.4305555555555556,
"grad_norm": 0.16049925982952118,
"learning_rate": 4.833166469850775e-06,
"loss": 0.0456,
"step": 124
},
{
"epoch": 0.4340277777777778,
"grad_norm": 0.21575939655303955,
"learning_rate": 4.8297837001138e-06,
"loss": 0.0477,
"step": 125
},
{
"epoch": 0.4375,
"grad_norm": 0.22125618159770966,
"learning_rate": 4.826368186748501e-06,
"loss": 0.0504,
"step": 126
},
{
"epoch": 0.4409722222222222,
"grad_norm": 0.17737671732902527,
"learning_rate": 4.822919977757744e-06,
"loss": 0.0467,
"step": 127
},
{
"epoch": 0.4444444444444444,
"grad_norm": 0.18350781500339508,
"learning_rate": 4.819439121603915e-06,
"loss": 0.0458,
"step": 128
},
{
"epoch": 0.4479166666666667,
"grad_norm": 0.14949235320091248,
"learning_rate": 4.815925667208234e-06,
"loss": 0.0474,
"step": 129
},
{
"epoch": 0.4513888888888889,
"grad_norm": 0.1304091513156891,
"learning_rate": 4.8123796639500655e-06,
"loss": 0.0475,
"step": 130
},
{
"epoch": 0.4548611111111111,
"grad_norm": 0.23221689462661743,
"learning_rate": 4.808801161666234e-06,
"loss": 0.0473,
"step": 131
},
{
"epoch": 0.4583333333333333,
"grad_norm": 0.16750171780586243,
"learning_rate": 4.805190210650311e-06,
"loss": 0.047,
"step": 132
},
{
"epoch": 0.4618055555555556,
"grad_norm": 0.19074364006519318,
"learning_rate": 4.801546861651917e-06,
"loss": 0.0461,
"step": 133
},
{
"epoch": 0.4652777777777778,
"grad_norm": 0.13447712361812592,
"learning_rate": 4.797871165876007e-06,
"loss": 0.046,
"step": 134
},
{
"epoch": 0.46875,
"grad_norm": 0.16824130713939667,
"learning_rate": 4.794163174982145e-06,
"loss": 0.0438,
"step": 135
},
{
"epoch": 0.4722222222222222,
"grad_norm": 0.12305115163326263,
"learning_rate": 4.790422941083787e-06,
"loss": 0.0444,
"step": 136
},
{
"epoch": 0.4756944444444444,
"grad_norm": 0.11863905191421509,
"learning_rate": 4.78665051674754e-06,
"loss": 0.0459,
"step": 137
},
{
"epoch": 0.4791666666666667,
"grad_norm": 0.14378808438777924,
"learning_rate": 4.782845954992432e-06,
"loss": 0.0444,
"step": 138
},
{
"epoch": 0.4826388888888889,
"grad_norm": 0.17540527880191803,
"learning_rate": 4.779009309289157e-06,
"loss": 0.0455,
"step": 139
},
{
"epoch": 0.4861111111111111,
"grad_norm": 0.1261070817708969,
"learning_rate": 4.7751406335593295e-06,
"loss": 0.0428,
"step": 140
},
{
"epoch": 0.4895833333333333,
"grad_norm": 0.15086349844932556,
"learning_rate": 4.771239982174728e-06,
"loss": 0.0446,
"step": 141
},
{
"epoch": 0.4930555555555556,
"grad_norm": 0.1332276612520218,
"learning_rate": 4.767307409956528e-06,
"loss": 0.0456,
"step": 142
},
{
"epoch": 0.4965277777777778,
"grad_norm": 0.11172042787075043,
"learning_rate": 4.7633429721745305e-06,
"loss": 0.0451,
"step": 143
},
{
"epoch": 0.5,
"grad_norm": 0.14254513382911682,
"learning_rate": 4.759346724546386e-06,
"loss": 0.0449,
"step": 144
},
{
"epoch": 0.5034722222222222,
"grad_norm": 0.1059415191411972,
"learning_rate": 4.755318723236816e-06,
"loss": 0.0437,
"step": 145
},
{
"epoch": 0.5069444444444444,
"grad_norm": 0.14756228029727936,
"learning_rate": 4.751259024856816e-06,
"loss": 0.0462,
"step": 146
},
{
"epoch": 0.5104166666666666,
"grad_norm": 0.161917582154274,
"learning_rate": 4.747167686462865e-06,
"loss": 0.0449,
"step": 147
},
{
"epoch": 0.5138888888888888,
"grad_norm": 0.101764015853405,
"learning_rate": 4.7430447655561235e-06,
"loss": 0.0452,
"step": 148
},
{
"epoch": 0.5173611111111112,
"grad_norm": 0.6033731698989868,
"learning_rate": 4.738890320081621e-06,
"loss": 0.0464,
"step": 149
},
{
"epoch": 0.5208333333333334,
"grad_norm": 0.1872342973947525,
"learning_rate": 4.734704408427449e-06,
"loss": 0.0441,
"step": 150
},
{
"epoch": 0.5243055555555556,
"grad_norm": 0.1137688010931015,
"learning_rate": 4.730487089423931e-06,
"loss": 0.0424,
"step": 151
},
{
"epoch": 0.5277777777777778,
"grad_norm": 0.12221691012382507,
"learning_rate": 4.726238422342806e-06,
"loss": 0.0457,
"step": 152
},
{
"epoch": 0.53125,
"grad_norm": 0.15371988713741302,
"learning_rate": 4.721958466896387e-06,
"loss": 0.0446,
"step": 153
},
{
"epoch": 0.5347222222222222,
"grad_norm": 0.13891756534576416,
"learning_rate": 4.717647283236726e-06,
"loss": 0.0432,
"step": 154
},
{
"epoch": 0.5381944444444444,
"grad_norm": 0.1512340009212494,
"learning_rate": 4.713304931954768e-06,
"loss": 0.0436,
"step": 155
},
{
"epoch": 0.5416666666666666,
"grad_norm": 0.18724144995212555,
"learning_rate": 4.708931474079499e-06,
"loss": 0.0442,
"step": 156
},
{
"epoch": 0.5451388888888888,
"grad_norm": 0.11891813576221466,
"learning_rate": 4.704526971077089e-06,
"loss": 0.0444,
"step": 157
},
{
"epoch": 0.5486111111111112,
"grad_norm": 0.1288479119539261,
"learning_rate": 4.700091484850025e-06,
"loss": 0.0435,
"step": 158
},
{
"epoch": 0.5520833333333334,
"grad_norm": 0.14060503244400024,
"learning_rate": 4.695625077736246e-06,
"loss": 0.0423,
"step": 159
},
{
"epoch": 0.5555555555555556,
"grad_norm": 0.0862833708524704,
"learning_rate": 4.691127812508263e-06,
"loss": 0.0408,
"step": 160
},
{
"epoch": 0.5590277777777778,
"grad_norm": 0.11336778104305267,
"learning_rate": 4.68659975237228e-06,
"loss": 0.0435,
"step": 161
},
{
"epoch": 0.5625,
"grad_norm": 0.13796082139015198,
"learning_rate": 4.682040960967304e-06,
"loss": 0.044,
"step": 162
},
{
"epoch": 0.5659722222222222,
"grad_norm": 0.2824229896068573,
"learning_rate": 4.6774515023642455e-06,
"loss": 0.0423,
"step": 163
},
{
"epoch": 0.5694444444444444,
"grad_norm": 0.10338843613862991,
"learning_rate": 4.672831441065028e-06,
"loss": 0.0427,
"step": 164
},
{
"epoch": 0.5729166666666666,
"grad_norm": 0.2242819368839264,
"learning_rate": 4.6681808420016765e-06,
"loss": 0.0438,
"step": 165
},
{
"epoch": 0.5763888888888888,
"grad_norm": 0.09749865531921387,
"learning_rate": 4.663499770535402e-06,
"loss": 0.0426,
"step": 166
},
{
"epoch": 0.5798611111111112,
"grad_norm": 0.09969424456357956,
"learning_rate": 4.658788292455688e-06,
"loss": 0.0444,
"step": 167
},
{
"epoch": 0.5833333333333334,
"grad_norm": 0.1247202605009079,
"learning_rate": 4.6540464739793625e-06,
"loss": 0.0432,
"step": 168
},
{
"epoch": 0.5868055555555556,
"grad_norm": 0.10644786804914474,
"learning_rate": 4.649274381749668e-06,
"loss": 0.0427,
"step": 169
},
{
"epoch": 0.5902777777777778,
"grad_norm": 0.11136279255151749,
"learning_rate": 4.644472082835326e-06,
"loss": 0.0414,
"step": 170
},
{
"epoch": 0.59375,
"grad_norm": 0.1348523646593094,
"learning_rate": 4.639639644729594e-06,
"loss": 0.0422,
"step": 171
},
{
"epoch": 0.5972222222222222,
"grad_norm": 0.10145433992147446,
"learning_rate": 4.634777135349318e-06,
"loss": 0.0423,
"step": 172
},
{
"epoch": 0.6006944444444444,
"grad_norm": 0.14065136015415192,
"learning_rate": 4.629884623033973e-06,
"loss": 0.0431,
"step": 173
},
{
"epoch": 0.6041666666666666,
"grad_norm": 0.20034432411193848,
"learning_rate": 4.62496217654471e-06,
"loss": 0.0423,
"step": 174
},
{
"epoch": 0.6076388888888888,
"grad_norm": 0.08863140642642975,
"learning_rate": 4.620009865063382e-06,
"loss": 0.0411,
"step": 175
},
{
"epoch": 0.6111111111111112,
"grad_norm": 0.12225303798913956,
"learning_rate": 4.61502775819158e-06,
"loss": 0.0421,
"step": 176
},
{
"epoch": 0.6145833333333334,
"grad_norm": 0.12981022894382477,
"learning_rate": 4.610015925949647e-06,
"loss": 0.0418,
"step": 177
},
{
"epoch": 0.6180555555555556,
"grad_norm": 0.12339942902326584,
"learning_rate": 4.6049744387756964e-06,
"loss": 0.0423,
"step": 178
},
{
"epoch": 0.6215277777777778,
"grad_norm": 0.13103044033050537,
"learning_rate": 4.599903367524627e-06,
"loss": 0.043,
"step": 179
},
{
"epoch": 0.625,
"grad_norm": 0.12940624356269836,
"learning_rate": 4.5948027834671176e-06,
"loss": 0.0425,
"step": 180
},
{
"epoch": 0.6284722222222222,
"grad_norm": 0.10389026999473572,
"learning_rate": 4.589672758288636e-06,
"loss": 0.0414,
"step": 181
},
{
"epoch": 0.6319444444444444,
"grad_norm": 0.0999772921204567,
"learning_rate": 4.584513364088422e-06,
"loss": 0.0429,
"step": 182
},
{
"epoch": 0.6354166666666666,
"grad_norm": 0.09683631360530853,
"learning_rate": 4.579324673378481e-06,
"loss": 0.0412,
"step": 183
},
{
"epoch": 0.6388888888888888,
"grad_norm": 0.10641929507255554,
"learning_rate": 4.574106759082561e-06,
"loss": 0.0408,
"step": 184
},
{
"epoch": 0.6423611111111112,
"grad_norm": 0.09515181928873062,
"learning_rate": 4.568859694535129e-06,
"loss": 0.0408,
"step": 185
},
{
"epoch": 0.6458333333333334,
"grad_norm": 0.11836621165275574,
"learning_rate": 4.563583553480341e-06,
"loss": 0.0434,
"step": 186
},
{
"epoch": 0.6493055555555556,
"grad_norm": 0.13046801090240479,
"learning_rate": 4.558278410071004e-06,
"loss": 0.0423,
"step": 187
},
{
"epoch": 0.6527777777777778,
"grad_norm": 0.359036922454834,
"learning_rate": 4.552944338867534e-06,
"loss": 0.0444,
"step": 188
},
{
"epoch": 0.65625,
"grad_norm": 0.3195350468158722,
"learning_rate": 4.547581414836912e-06,
"loss": 0.042,
"step": 189
},
{
"epoch": 0.6597222222222222,
"grad_norm": 0.09748683869838715,
"learning_rate": 4.542189713351623e-06,
"loss": 0.041,
"step": 190
},
{
"epoch": 0.6631944444444444,
"grad_norm": 0.13412615656852722,
"learning_rate": 4.536769310188601e-06,
"loss": 0.0411,
"step": 191
},
{
"epoch": 0.6666666666666666,
"grad_norm": 0.15448537468910217,
"learning_rate": 4.531320281528169e-06,
"loss": 0.0417,
"step": 192
},
{
"epoch": 0.6701388888888888,
"grad_norm": 0.16399464011192322,
"learning_rate": 4.525842703952958e-06,
"loss": 0.044,
"step": 193
},
{
"epoch": 0.6736111111111112,
"grad_norm": 0.17634686827659607,
"learning_rate": 4.520336654446839e-06,
"loss": 0.0422,
"step": 194
},
{
"epoch": 0.6770833333333334,
"grad_norm": 0.14069226384162903,
"learning_rate": 4.514802210393833e-06,
"loss": 0.042,
"step": 195
},
{
"epoch": 0.6805555555555556,
"grad_norm": 0.14406989514827728,
"learning_rate": 4.509239449577034e-06,
"loss": 0.0429,
"step": 196
},
{
"epoch": 0.6840277777777778,
"grad_norm": 0.17166978120803833,
"learning_rate": 4.5036484501775065e-06,
"loss": 0.043,
"step": 197
},
{
"epoch": 0.6875,
"grad_norm": 0.15818418562412262,
"learning_rate": 4.498029290773193e-06,
"loss": 0.0414,
"step": 198
},
{
"epoch": 0.6909722222222222,
"grad_norm": 0.14940214157104492,
"learning_rate": 4.492382050337805e-06,
"loss": 0.0421,
"step": 199
},
{
"epoch": 0.6944444444444444,
"grad_norm": 0.12957589328289032,
"learning_rate": 4.4867068082397144e-06,
"loss": 0.0422,
"step": 200
},
{
"epoch": 0.6979166666666666,
"grad_norm": 0.13950559496879578,
"learning_rate": 4.481003644240842e-06,
"loss": 0.0397,
"step": 201
},
{
"epoch": 0.7013888888888888,
"grad_norm": 0.17835752665996552,
"learning_rate": 4.47527263849553e-06,
"loss": 0.0414,
"step": 202
},
{
"epoch": 0.7048611111111112,
"grad_norm": 0.13186202943325043,
"learning_rate": 4.469513871549419e-06,
"loss": 0.0403,
"step": 203
},
{
"epoch": 0.7083333333333334,
"grad_norm": 0.1072673574090004,
"learning_rate": 4.4637274243383165e-06,
"loss": 0.041,
"step": 204
},
{
"epoch": 0.7118055555555556,
"grad_norm": 0.13432258367538452,
"learning_rate": 4.457913378187059e-06,
"loss": 0.0417,
"step": 205
},
{
"epoch": 0.7152777777777778,
"grad_norm": 0.18294939398765564,
"learning_rate": 4.452071814808367e-06,
"loss": 0.0414,
"step": 206
},
{
"epoch": 0.71875,
"grad_norm": 0.13726216554641724,
"learning_rate": 4.446202816301699e-06,
"loss": 0.0413,
"step": 207
},
{
"epoch": 0.7222222222222222,
"grad_norm": 0.14163826406002045,
"learning_rate": 4.440306465152098e-06,
"loss": 0.0418,
"step": 208
},
{
"epoch": 0.7256944444444444,
"grad_norm": 0.10949459671974182,
"learning_rate": 4.434382844229028e-06,
"loss": 0.0406,
"step": 209
},
{
"epoch": 0.7291666666666666,
"grad_norm": 0.10799147188663483,
"learning_rate": 4.428432036785214e-06,
"loss": 0.0401,
"step": 210
},
{
"epoch": 0.7326388888888888,
"grad_norm": 0.15484774112701416,
"learning_rate": 4.422454126455474e-06,
"loss": 0.0407,
"step": 211
},
{
"epoch": 0.7361111111111112,
"grad_norm": 0.1091999039053917,
"learning_rate": 4.41644919725553e-06,
"loss": 0.0405,
"step": 212
},
{
"epoch": 0.7395833333333334,
"grad_norm": 0.11307651549577713,
"learning_rate": 4.410417333580849e-06,
"loss": 0.04,
"step": 213
},
{
"epoch": 0.7430555555555556,
"grad_norm": 0.13210344314575195,
"learning_rate": 4.404358620205435e-06,
"loss": 0.0414,
"step": 214
},
{
"epoch": 0.7465277777777778,
"grad_norm": 0.1032988578081131,
"learning_rate": 4.3982731422806534e-06,
"loss": 0.0398,
"step": 215
},
{
"epoch": 0.75,
"grad_norm": 0.08926104754209518,
"learning_rate": 4.392160985334027e-06,
"loss": 0.0399,
"step": 216
},
{
"epoch": 0.7534722222222222,
"grad_norm": 0.0985676720738411,
"learning_rate": 4.386022235268034e-06,
"loss": 0.0397,
"step": 217
},
{
"epoch": 0.7569444444444444,
"grad_norm": 0.10603489726781845,
"learning_rate": 4.379856978358902e-06,
"loss": 0.0388,
"step": 218
},
{
"epoch": 0.7604166666666666,
"grad_norm": 0.11447900533676147,
"learning_rate": 4.373665301255398e-06,
"loss": 0.0395,
"step": 219
},
{
"epoch": 0.7638888888888888,
"grad_norm": 0.10561159998178482,
"learning_rate": 4.367447290977604e-06,
"loss": 0.0386,
"step": 220
},
{
"epoch": 0.7673611111111112,
"grad_norm": 0.10854826867580414,
"learning_rate": 4.3612030349157015e-06,
"loss": 0.0408,
"step": 221
},
{
"epoch": 0.7708333333333334,
"grad_norm": 0.10238426923751831,
"learning_rate": 4.35493262082874e-06,
"loss": 0.0404,
"step": 222
},
{
"epoch": 0.7743055555555556,
"grad_norm": 0.4103968143463135,
"learning_rate": 4.348636136843399e-06,
"loss": 0.0413,
"step": 223
},
{
"epoch": 0.7777777777777778,
"grad_norm": 0.11399518698453903,
"learning_rate": 4.3423136714527595e-06,
"loss": 0.0392,
"step": 224
},
{
"epoch": 0.78125,
"grad_norm": 0.09158521145582199,
"learning_rate": 4.33596531351505e-06,
"loss": 0.0391,
"step": 225
},
{
"epoch": 0.7847222222222222,
"grad_norm": 0.11626172065734863,
"learning_rate": 4.329591152252405e-06,
"loss": 0.0396,
"step": 226
},
{
"epoch": 0.7881944444444444,
"grad_norm": 0.11754734069108963,
"learning_rate": 4.323191277249606e-06,
"loss": 0.0402,
"step": 227
},
{
"epoch": 0.7916666666666666,
"grad_norm": 0.1229032352566719,
"learning_rate": 4.31676577845283e-06,
"loss": 0.0398,
"step": 228
},
{
"epoch": 0.7951388888888888,
"grad_norm": 0.11567321419715881,
"learning_rate": 4.310314746168372e-06,
"loss": 0.0396,
"step": 229
},
{
"epoch": 0.7986111111111112,
"grad_norm": 0.10476019978523254,
"learning_rate": 4.303838271061391e-06,
"loss": 0.0378,
"step": 230
},
{
"epoch": 0.8020833333333334,
"grad_norm": 0.08592893183231354,
"learning_rate": 4.297336444154626e-06,
"loss": 0.0412,
"step": 231
},
{
"epoch": 0.8055555555555556,
"grad_norm": 0.12810568511486053,
"learning_rate": 4.290809356827119e-06,
"loss": 0.0406,
"step": 232
},
{
"epoch": 0.8090277777777778,
"grad_norm": 0.11629325151443481,
"learning_rate": 4.284257100812931e-06,
"loss": 0.0385,
"step": 233
},
{
"epoch": 0.8125,
"grad_norm": 0.10487047582864761,
"learning_rate": 4.277679768199855e-06,
"loss": 0.0405,
"step": 234
},
{
"epoch": 0.8159722222222222,
"grad_norm": 0.08873811364173889,
"learning_rate": 4.271077451428116e-06,
"loss": 0.04,
"step": 235
},
{
"epoch": 0.8194444444444444,
"grad_norm": 0.11863256245851517,
"learning_rate": 4.264450243289079e-06,
"loss": 0.0384,
"step": 236
},
{
"epoch": 0.8229166666666666,
"grad_norm": 0.09512842446565628,
"learning_rate": 4.257798236923941e-06,
"loss": 0.0397,
"step": 237
},
{
"epoch": 0.8263888888888888,
"grad_norm": 0.09482207894325256,
"learning_rate": 4.251121525822419e-06,
"loss": 0.0401,
"step": 238
},
{
"epoch": 0.8298611111111112,
"grad_norm": 0.1092769056558609,
"learning_rate": 4.2444202038214425e-06,
"loss": 0.0385,
"step": 239
},
{
"epoch": 0.8333333333333334,
"grad_norm": 0.4156738221645355,
"learning_rate": 4.237694365103831e-06,
"loss": 0.0417,
"step": 240
},
{
"epoch": 0.8368055555555556,
"grad_norm": 0.09347352385520935,
"learning_rate": 4.23094410419697e-06,
"loss": 0.0388,
"step": 241
},
{
"epoch": 0.8402777777777778,
"grad_norm": 0.09404996037483215,
"learning_rate": 4.224169515971485e-06,
"loss": 0.0381,
"step": 242
},
{
"epoch": 0.84375,
"grad_norm": 0.11364345997571945,
"learning_rate": 4.217370695639904e-06,
"loss": 0.039,
"step": 243
},
{
"epoch": 0.8472222222222222,
"grad_norm": 0.1296929121017456,
"learning_rate": 4.210547738755324e-06,
"loss": 0.0388,
"step": 244
},
{
"epoch": 0.8506944444444444,
"grad_norm": 0.12822413444519043,
"learning_rate": 4.203700741210064e-06,
"loss": 0.0392,
"step": 245
},
{
"epoch": 0.8541666666666666,
"grad_norm": 0.11240168660879135,
"learning_rate": 4.196829799234322e-06,
"loss": 0.0398,
"step": 246
},
{
"epoch": 0.8576388888888888,
"grad_norm": 0.08810293674468994,
"learning_rate": 4.189935009394816e-06,
"loss": 0.0386,
"step": 247
},
{
"epoch": 0.8611111111111112,
"grad_norm": 0.15568102896213531,
"learning_rate": 4.183016468593434e-06,
"loss": 0.0397,
"step": 248
},
{
"epoch": 0.8645833333333334,
"grad_norm": 0.08587350696325302,
"learning_rate": 4.176074274065868e-06,
"loss": 0.0382,
"step": 249
},
{
"epoch": 0.8680555555555556,
"grad_norm": 0.1070128008723259,
"learning_rate": 4.169108523380245e-06,
"loss": 0.0384,
"step": 250
},
{
"epoch": 0.8715277777777778,
"grad_norm": 0.11601398140192032,
"learning_rate": 4.162119314435763e-06,
"loss": 0.0397,
"step": 251
},
{
"epoch": 0.875,
"grad_norm": 0.09858991205692291,
"learning_rate": 4.155106745461308e-06,
"loss": 0.0385,
"step": 252
},
{
"epoch": 0.8784722222222222,
"grad_norm": 0.11073406785726547,
"learning_rate": 4.148070915014078e-06,
"loss": 0.0396,
"step": 253
},
{
"epoch": 0.8819444444444444,
"grad_norm": 0.10793688893318176,
"learning_rate": 4.141011921978196e-06,
"loss": 0.0399,
"step": 254
},
{
"epoch": 0.8854166666666666,
"grad_norm": 0.0984438955783844,
"learning_rate": 4.13392986556332e-06,
"loss": 0.0382,
"step": 255
},
{
"epoch": 0.8888888888888888,
"grad_norm": 0.11203981935977936,
"learning_rate": 4.126824845303247e-06,
"loss": 0.0385,
"step": 256
},
{
"epoch": 0.8923611111111112,
"grad_norm": 0.09894721210002899,
"learning_rate": 4.119696961054523e-06,
"loss": 0.0385,
"step": 257
},
{
"epoch": 0.8958333333333334,
"grad_norm": 0.2033790796995163,
"learning_rate": 4.1125463129950235e-06,
"loss": 0.0367,
"step": 258
},
{
"epoch": 0.8993055555555556,
"grad_norm": 0.091950923204422,
"learning_rate": 4.105373001622563e-06,
"loss": 0.0376,
"step": 259
},
{
"epoch": 0.9027777777777778,
"grad_norm": 0.1297457367181778,
"learning_rate": 4.0981771277534686e-06,
"loss": 0.0393,
"step": 260
},
{
"epoch": 0.90625,
"grad_norm": 0.11634797602891922,
"learning_rate": 4.090958792521173e-06,
"loss": 0.0398,
"step": 261
},
{
"epoch": 0.9097222222222222,
"grad_norm": 0.0970335528254509,
"learning_rate": 4.083718097374788e-06,
"loss": 0.0384,
"step": 262
},
{
"epoch": 0.9131944444444444,
"grad_norm": 0.5387095808982849,
"learning_rate": 4.076455144077679e-06,
"loss": 0.0405,
"step": 263
},
{
"epoch": 0.9166666666666666,
"grad_norm": 0.1064249724149704,
"learning_rate": 4.0691700347060344e-06,
"loss": 0.0371,
"step": 264
},
{
"epoch": 0.9201388888888888,
"grad_norm": 0.12649689614772797,
"learning_rate": 4.061862871647435e-06,
"loss": 0.0399,
"step": 265
},
{
"epoch": 0.9236111111111112,
"grad_norm": 0.12759321928024292,
"learning_rate": 4.054533757599411e-06,
"loss": 0.0377,
"step": 266
},
{
"epoch": 0.9270833333333334,
"grad_norm": 0.09432400017976761,
"learning_rate": 4.047182795567998e-06,
"loss": 0.039,
"step": 267
},
{
"epoch": 0.9305555555555556,
"grad_norm": 0.12018612027168274,
"learning_rate": 4.039810088866294e-06,
"loss": 0.0392,
"step": 268
},
{
"epoch": 0.9340277777777778,
"grad_norm": 0.1553112268447876,
"learning_rate": 4.032415741113002e-06,
"loss": 0.0387,
"step": 269
},
{
"epoch": 0.9375,
"grad_norm": 0.12055694311857224,
"learning_rate": 4.024999856230978e-06,
"loss": 0.0372,
"step": 270
},
{
"epoch": 0.9409722222222222,
"grad_norm": 0.1351049542427063,
"learning_rate": 4.017562538445769e-06,
"loss": 0.0385,
"step": 271
},
{
"epoch": 0.9444444444444444,
"grad_norm": 0.1886376589536667,
"learning_rate": 4.010103892284147e-06,
"loss": 0.0418,
"step": 272
},
{
"epoch": 0.9479166666666666,
"grad_norm": 0.12253985553979874,
"learning_rate": 4.002624022572638e-06,
"loss": 0.0376,
"step": 273
},
{
"epoch": 0.9513888888888888,
"grad_norm": 0.11659642308950424,
"learning_rate": 3.9951230344360555e-06,
"loss": 0.0397,
"step": 274
},
{
"epoch": 0.9548611111111112,
"grad_norm": 0.1558295339345932,
"learning_rate": 3.987601033296019e-06,
"loss": 0.038,
"step": 275
},
{
"epoch": 0.9583333333333334,
"grad_norm": 0.19072526693344116,
"learning_rate": 3.9800581248694695e-06,
"loss": 0.0393,
"step": 276
},
{
"epoch": 0.9618055555555556,
"grad_norm": 0.10783593356609344,
"learning_rate": 3.9724944151671885e-06,
"loss": 0.0373,
"step": 277
},
{
"epoch": 0.9652777777777778,
"grad_norm": 0.16431266069412231,
"learning_rate": 3.964910010492305e-06,
"loss": 0.0379,
"step": 278
},
{
"epoch": 0.96875,
"grad_norm": 0.1290053129196167,
"learning_rate": 3.957305017438806e-06,
"loss": 0.0374,
"step": 279
},
{
"epoch": 0.9722222222222222,
"grad_norm": 0.272797167301178,
"learning_rate": 3.949679542890031e-06,
"loss": 0.0388,
"step": 280
},
{
"epoch": 0.9756944444444444,
"grad_norm": 0.16525359451770782,
"learning_rate": 3.9420336940171754e-06,
"loss": 0.037,
"step": 281
},
{
"epoch": 0.9791666666666666,
"grad_norm": 0.10031793266534805,
"learning_rate": 3.9343675782777835e-06,
"loss": 0.0372,
"step": 282
},
{
"epoch": 0.9826388888888888,
"grad_norm": 0.09637466073036194,
"learning_rate": 3.926681303414237e-06,
"loss": 0.0372,
"step": 283
},
{
"epoch": 0.9861111111111112,
"grad_norm": 0.133241668343544,
"learning_rate": 3.91897497745224e-06,
"loss": 0.0376,
"step": 284
},
{
"epoch": 0.9895833333333334,
"grad_norm": 0.12994840741157532,
"learning_rate": 3.911248708699304e-06,
"loss": 0.0382,
"step": 285
},
{
"epoch": 0.9930555555555556,
"grad_norm": 0.09187270700931549,
"learning_rate": 3.903502605743222e-06,
"loss": 0.0362,
"step": 286
},
{
"epoch": 0.9965277777777778,
"grad_norm": 0.10548574477434158,
"learning_rate": 3.8957367774505475e-06,
"loss": 0.0376,
"step": 287
},
{
"epoch": 1.0,
"grad_norm": 0.11515788733959198,
"learning_rate": 3.887951332965057e-06,
"loss": 0.0369,
"step": 288
},
{
"epoch": 1.0034722222222223,
"grad_norm": 0.12226413935422897,
"learning_rate": 3.88014638170622e-06,
"loss": 0.036,
"step": 289
},
{
"epoch": 1.0069444444444444,
"grad_norm": 0.10493435710668564,
"learning_rate": 3.872322033367667e-06,
"loss": 0.0349,
"step": 290
},
{
"epoch": 1.0104166666666667,
"grad_norm": 0.08117599040269852,
"learning_rate": 3.864478397915635e-06,
"loss": 0.035,
"step": 291
},
{
"epoch": 1.0138888888888888,
"grad_norm": 0.0829809382557869,
"learning_rate": 3.856615585587434e-06,
"loss": 0.0374,
"step": 292
},
{
"epoch": 1.0173611111111112,
"grad_norm": 0.09372568875551224,
"learning_rate": 3.8487337068898905e-06,
"loss": 0.0371,
"step": 293
},
{
"epoch": 1.0208333333333333,
"grad_norm": 0.08779069036245346,
"learning_rate": 3.840832872597796e-06,
"loss": 0.0364,
"step": 294
},
{
"epoch": 1.0243055555555556,
"grad_norm": 0.08584199100732803,
"learning_rate": 3.832913193752354e-06,
"loss": 0.0347,
"step": 295
},
{
"epoch": 1.0277777777777777,
"grad_norm": 0.10123753547668457,
"learning_rate": 3.824974781659614e-06,
"loss": 0.036,
"step": 296
},
{
"epoch": 1.03125,
"grad_norm": 0.09402521699666977,
"learning_rate": 3.8170177478889096e-06,
"loss": 0.0361,
"step": 297
},
{
"epoch": 1.0347222222222223,
"grad_norm": 0.12597708404064178,
"learning_rate": 3.809042204271288e-06,
"loss": 0.0359,
"step": 298
},
{
"epoch": 1.0381944444444444,
"grad_norm": 0.0785890594124794,
"learning_rate": 3.801048262897946e-06,
"loss": 0.0343,
"step": 299
},
{
"epoch": 1.0416666666666667,
"grad_norm": 0.09483007341623306,
"learning_rate": 3.7930360361186454e-06,
"loss": 0.0358,
"step": 300
},
{
"epoch": 1.0451388888888888,
"grad_norm": 0.10368721187114716,
"learning_rate": 3.785005636540137e-06,
"loss": 0.0352,
"step": 301
},
{
"epoch": 1.0486111111111112,
"grad_norm": 0.18014498054981232,
"learning_rate": 3.7769571770245817e-06,
"loss": 0.0349,
"step": 302
},
{
"epoch": 1.0520833333333333,
"grad_norm": 0.09136196970939636,
"learning_rate": 3.7688907706879587e-06,
"loss": 0.0367,
"step": 303
},
{
"epoch": 1.0555555555555556,
"grad_norm": 0.10800204426050186,
"learning_rate": 3.7608065308984786e-06,
"loss": 0.0357,
"step": 304
},
{
"epoch": 1.0590277777777777,
"grad_norm": 0.13311514258384705,
"learning_rate": 3.7527045712749933e-06,
"loss": 0.0343,
"step": 305
},
{
"epoch": 1.0625,
"grad_norm": 0.10827336460351944,
"learning_rate": 3.74458500568539e-06,
"loss": 0.0375,
"step": 306
},
{
"epoch": 1.0659722222222223,
"grad_norm": 0.10805215686559677,
"learning_rate": 3.7364479482450015e-06,
"loss": 0.0364,
"step": 307
},
{
"epoch": 1.0694444444444444,
"grad_norm": 0.09037192910909653,
"learning_rate": 3.7282935133149955e-06,
"loss": 0.0355,
"step": 308
},
{
"epoch": 1.0729166666666667,
"grad_norm": 0.08453647792339325,
"learning_rate": 3.720121815500768e-06,
"loss": 0.0348,
"step": 309
},
{
"epoch": 1.0763888888888888,
"grad_norm": 0.10149750113487244,
"learning_rate": 3.711932969650337e-06,
"loss": 0.035,
"step": 310
},
{
"epoch": 1.0798611111111112,
"grad_norm": 0.1946180760860443,
"learning_rate": 3.7037270908527212e-06,
"loss": 0.035,
"step": 311
},
{
"epoch": 1.0833333333333333,
"grad_norm": 0.09787549823522568,
"learning_rate": 3.6955042944363305e-06,
"loss": 0.0369,
"step": 312
},
{
"epoch": 1.0868055555555556,
"grad_norm": 0.12781886756420135,
"learning_rate": 3.6872646959673385e-06,
"loss": 0.0351,
"step": 313
},
{
"epoch": 1.0902777777777777,
"grad_norm": 0.18614132702350616,
"learning_rate": 3.679008411248063e-06,
"loss": 0.0355,
"step": 314
},
{
"epoch": 1.09375,
"grad_norm": 0.15595434606075287,
"learning_rate": 3.6707355563153335e-06,
"loss": 0.0353,
"step": 315
},
{
"epoch": 1.0972222222222223,
"grad_norm": 0.10660479217767715,
"learning_rate": 3.662446247438867e-06,
"loss": 0.0371,
"step": 316
},
{
"epoch": 1.1006944444444444,
"grad_norm": 0.10783390700817108,
"learning_rate": 3.654140601119626e-06,
"loss": 0.0366,
"step": 317
},
{
"epoch": 1.1041666666666667,
"grad_norm": 0.09462081640958786,
"learning_rate": 3.64581873408819e-06,
"loss": 0.0361,
"step": 318
},
{
"epoch": 1.1076388888888888,
"grad_norm": 0.09897305816411972,
"learning_rate": 3.6374807633031075e-06,
"loss": 0.035,
"step": 319
},
{
"epoch": 1.1111111111111112,
"grad_norm": 0.09394152462482452,
"learning_rate": 3.6291268059492544e-06,
"loss": 0.0366,
"step": 320
},
{
"epoch": 1.1145833333333333,
"grad_norm": 0.12614838778972626,
"learning_rate": 3.62075697943619e-06,
"loss": 0.0361,
"step": 321
},
{
"epoch": 1.1180555555555556,
"grad_norm": 0.10611895471811295,
"learning_rate": 3.6123714013965023e-06,
"loss": 0.0362,
"step": 322
},
{
"epoch": 1.1215277777777777,
"grad_norm": 0.10249809175729752,
"learning_rate": 3.6039701896841594e-06,
"loss": 0.0347,
"step": 323
},
{
"epoch": 1.125,
"grad_norm": 0.10524166375398636,
"learning_rate": 3.5955534623728477e-06,
"loss": 0.0348,
"step": 324
},
{
"epoch": 1.1284722222222223,
"grad_norm": 0.09200931340456009,
"learning_rate": 3.587121337754318e-06,
"loss": 0.0336,
"step": 325
},
{
"epoch": 1.1319444444444444,
"grad_norm": 0.10736843943595886,
"learning_rate": 3.5786739343367204e-06,
"loss": 0.0375,
"step": 326
},
{
"epoch": 1.1354166666666667,
"grad_norm": 0.11449631303548813,
"learning_rate": 3.5702113708429355e-06,
"loss": 0.0366,
"step": 327
},
{
"epoch": 1.1388888888888888,
"grad_norm": 0.09040048718452454,
"learning_rate": 3.5617337662089148e-06,
"loss": 0.0341,
"step": 328
},
{
"epoch": 1.1423611111111112,
"grad_norm": 0.37338557839393616,
"learning_rate": 3.553241239581997e-06,
"loss": 0.0361,
"step": 329
},
{
"epoch": 1.1458333333333333,
"grad_norm": 0.10194606333971024,
"learning_rate": 3.5447339103192456e-06,
"loss": 0.0357,
"step": 330
},
{
"epoch": 1.1493055555555556,
"grad_norm": 0.09893582761287689,
"learning_rate": 3.536211897985763e-06,
"loss": 0.0364,
"step": 331
},
{
"epoch": 1.1527777777777777,
"grad_norm": 0.09601099789142609,
"learning_rate": 3.5276753223530113e-06,
"loss": 0.035,
"step": 332
},
{
"epoch": 1.15625,
"grad_norm": 0.10547734797000885,
"learning_rate": 3.5191243033971344e-06,
"loss": 0.0362,
"step": 333
},
{
"epoch": 1.1597222222222223,
"grad_norm": 0.10132454335689545,
"learning_rate": 3.510558961297266e-06,
"loss": 0.0363,
"step": 334
},
{
"epoch": 1.1631944444444444,
"grad_norm": 0.09440963715314865,
"learning_rate": 3.5019794164338405e-06,
"loss": 0.0358,
"step": 335
},
{
"epoch": 1.1666666666666667,
"grad_norm": 0.08906985074281693,
"learning_rate": 3.493385789386906e-06,
"loss": 0.0352,
"step": 336
},
{
"epoch": 1.1701388888888888,
"grad_norm": 0.09685350954532623,
"learning_rate": 3.484778200934426e-06,
"loss": 0.0361,
"step": 337
},
{
"epoch": 1.1736111111111112,
"grad_norm": 0.09066646546125412,
"learning_rate": 3.4761567720505824e-06,
"loss": 0.0346,
"step": 338
},
{
"epoch": 1.1770833333333333,
"grad_norm": 0.11225445568561554,
"learning_rate": 3.4675216239040743e-06,
"loss": 0.0352,
"step": 339
},
{
"epoch": 1.1805555555555556,
"grad_norm": 0.09443587809801102,
"learning_rate": 3.4588728778564196e-06,
"loss": 0.0356,
"step": 340
},
{
"epoch": 1.1840277777777777,
"grad_norm": 0.08822441101074219,
"learning_rate": 3.450210655460242e-06,
"loss": 0.0358,
"step": 341
},
{
"epoch": 1.1875,
"grad_norm": 0.10916097462177277,
"learning_rate": 3.4415350784575697e-06,
"loss": 0.0362,
"step": 342
},
{
"epoch": 1.1909722222222223,
"grad_norm": 0.1029500737786293,
"learning_rate": 3.4328462687781206e-06,
"loss": 0.0335,
"step": 343
},
{
"epoch": 1.1944444444444444,
"grad_norm": 0.10381455719470978,
"learning_rate": 3.4241443485375893e-06,
"loss": 0.0357,
"step": 344
},
{
"epoch": 1.1979166666666667,
"grad_norm": 0.10592871904373169,
"learning_rate": 3.4154294400359295e-06,
"loss": 0.0349,
"step": 345
},
{
"epoch": 1.2013888888888888,
"grad_norm": 0.10936404764652252,
"learning_rate": 3.40670166575564e-06,
"loss": 0.0372,
"step": 346
},
{
"epoch": 1.2048611111111112,
"grad_norm": 0.15741786360740662,
"learning_rate": 3.397961148360037e-06,
"loss": 0.0335,
"step": 347
},
{
"epoch": 1.2083333333333333,
"grad_norm": 0.12936483323574066,
"learning_rate": 3.3892080106915348e-06,
"loss": 0.0359,
"step": 348
},
{
"epoch": 1.2118055555555556,
"grad_norm": 0.12176040560007095,
"learning_rate": 3.3804423757699156e-06,
"loss": 0.0346,
"step": 349
},
{
"epoch": 1.2152777777777777,
"grad_norm": 0.10245862603187561,
"learning_rate": 3.3716643667906057e-06,
"loss": 0.0347,
"step": 350
},
{
"epoch": 1.21875,
"grad_norm": 0.12617072463035583,
"learning_rate": 3.362874107122938e-06,
"loss": 0.0344,
"step": 351
},
{
"epoch": 1.2222222222222223,
"grad_norm": 0.0875701829791069,
"learning_rate": 3.3540717203084226e-06,
"loss": 0.0337,
"step": 352
},
{
"epoch": 1.2256944444444444,
"grad_norm": 0.08421158045530319,
"learning_rate": 3.345257330059008e-06,
"loss": 0.0346,
"step": 353
},
{
"epoch": 1.2291666666666667,
"grad_norm": 0.1523522138595581,
"learning_rate": 3.336431060255344e-06,
"loss": 0.0354,
"step": 354
},
{
"epoch": 1.2326388888888888,
"grad_norm": 0.10595856606960297,
"learning_rate": 3.3275930349450402e-06,
"loss": 0.0351,
"step": 355
},
{
"epoch": 1.2361111111111112,
"grad_norm": 0.11165869235992432,
"learning_rate": 3.3187433783409216e-06,
"loss": 0.0339,
"step": 356
},
{
"epoch": 1.2395833333333333,
"grad_norm": 0.10949059575796127,
"learning_rate": 3.3098822148192836e-06,
"loss": 0.0335,
"step": 357
},
{
"epoch": 1.2430555555555556,
"grad_norm": 0.09662698209285736,
"learning_rate": 3.3010096689181453e-06,
"loss": 0.0348,
"step": 358
},
{
"epoch": 1.2465277777777777,
"grad_norm": 0.0934520810842514,
"learning_rate": 3.292125865335497e-06,
"loss": 0.0357,
"step": 359
},
{
"epoch": 1.25,
"grad_norm": 0.0975743979215622,
"learning_rate": 3.283230928927548e-06,
"loss": 0.0358,
"step": 360
},
{
"epoch": 1.2534722222222223,
"grad_norm": 0.39430856704711914,
"learning_rate": 3.2743249847069724e-06,
"loss": 0.0369,
"step": 361
},
{
"epoch": 1.2569444444444444,
"grad_norm": 0.08603217452764511,
"learning_rate": 3.2654081578411532e-06,
"loss": 0.0356,
"step": 362
},
{
"epoch": 1.2604166666666667,
"grad_norm": 0.12141703814268112,
"learning_rate": 3.256480573650423e-06,
"loss": 0.0367,
"step": 363
},
{
"epoch": 1.2638888888888888,
"grad_norm": 0.12421681731939316,
"learning_rate": 3.2475423576062986e-06,
"loss": 0.0345,
"step": 364
},
{
"epoch": 1.2673611111111112,
"grad_norm": 0.10901670902967453,
"learning_rate": 3.238593635329722e-06,
"loss": 0.0349,
"step": 365
},
{
"epoch": 1.2708333333333333,
"grad_norm": 0.135972797870636,
"learning_rate": 3.229634532589296e-06,
"loss": 0.0363,
"step": 366
},
{
"epoch": 1.2743055555555556,
"grad_norm": 0.12399457395076752,
"learning_rate": 3.2206651752995103e-06,
"loss": 0.035,
"step": 367
},
{
"epoch": 1.2777777777777777,
"grad_norm": 0.08571314066648483,
"learning_rate": 3.2116856895189785e-06,
"loss": 0.0348,
"step": 368
},
{
"epoch": 1.28125,
"grad_norm": 0.13199849426746368,
"learning_rate": 3.2026962014486635e-06,
"loss": 0.0345,
"step": 369
},
{
"epoch": 1.2847222222222223,
"grad_norm": 0.09638667851686478,
"learning_rate": 3.1936968374301025e-06,
"loss": 0.0348,
"step": 370
},
{
"epoch": 1.2881944444444444,
"grad_norm": 0.10975995659828186,
"learning_rate": 3.1846877239436343e-06,
"loss": 0.0341,
"step": 371
},
{
"epoch": 1.2916666666666667,
"grad_norm": 0.127323180437088,
"learning_rate": 3.1756689876066194e-06,
"loss": 0.0345,
"step": 372
},
{
"epoch": 1.2951388888888888,
"grad_norm": 0.10173925757408142,
"learning_rate": 3.1666407551716623e-06,
"loss": 0.0342,
"step": 373
},
{
"epoch": 1.2986111111111112,
"grad_norm": 0.10085804015398026,
"learning_rate": 3.157603153524828e-06,
"loss": 0.0354,
"step": 374
},
{
"epoch": 1.3020833333333333,
"grad_norm": 0.09150590002536774,
"learning_rate": 3.1485563096838605e-06,
"loss": 0.0358,
"step": 375
},
{
"epoch": 1.3055555555555556,
"grad_norm": 0.08241839706897736,
"learning_rate": 3.1395003507963973e-06,
"loss": 0.0344,
"step": 376
},
{
"epoch": 1.3090277777777777,
"grad_norm": 0.12511339783668518,
"learning_rate": 3.130435404138182e-06,
"loss": 0.0342,
"step": 377
},
{
"epoch": 1.3125,
"grad_norm": 0.09180887788534164,
"learning_rate": 3.121361597111273e-06,
"loss": 0.0342,
"step": 378
},
{
"epoch": 1.3159722222222223,
"grad_norm": 0.09976798295974731,
"learning_rate": 3.1122790572422603e-06,
"loss": 0.0343,
"step": 379
},
{
"epoch": 1.3194444444444444,
"grad_norm": 0.10853918641805649,
"learning_rate": 3.1031879121804637e-06,
"loss": 0.0347,
"step": 380
},
{
"epoch": 1.3229166666666667,
"grad_norm": 0.15387721359729767,
"learning_rate": 3.094088289696147e-06,
"loss": 0.0361,
"step": 381
},
{
"epoch": 1.3263888888888888,
"grad_norm": 0.1311766505241394,
"learning_rate": 3.0849803176787184e-06,
"loss": 0.0339,
"step": 382
},
{
"epoch": 1.3298611111111112,
"grad_norm": 0.10942820459604263,
"learning_rate": 3.07586412413493e-06,
"loss": 0.0346,
"step": 383
},
{
"epoch": 1.3333333333333333,
"grad_norm": 0.10228657722473145,
"learning_rate": 3.066739837187088e-06,
"loss": 0.0342,
"step": 384
},
{
"epoch": 1.3368055555555556,
"grad_norm": 0.08626681566238403,
"learning_rate": 3.0576075850712406e-06,
"loss": 0.0343,
"step": 385
},
{
"epoch": 1.3402777777777777,
"grad_norm": 0.09915263950824738,
"learning_rate": 3.0484674961353838e-06,
"loss": 0.0336,
"step": 386
},
{
"epoch": 1.34375,
"grad_norm": 0.10185376554727554,
"learning_rate": 3.0393196988376567e-06,
"loss": 0.0355,
"step": 387
},
{
"epoch": 1.3472222222222223,
"grad_norm": 0.09487300366163254,
"learning_rate": 3.030164321744532e-06,
"loss": 0.0335,
"step": 388
},
{
"epoch": 1.3506944444444444,
"grad_norm": 0.3177691102027893,
"learning_rate": 3.021001493529012e-06,
"loss": 0.0362,
"step": 389
},
{
"epoch": 1.3541666666666667,
"grad_norm": 0.44625094532966614,
"learning_rate": 3.0118313429688216e-06,
"loss": 0.0365,
"step": 390
},
{
"epoch": 1.3576388888888888,
"grad_norm": 0.09031222015619278,
"learning_rate": 3.0026539989445945e-06,
"loss": 0.0343,
"step": 391
},
{
"epoch": 1.3611111111111112,
"grad_norm": 0.08382237702608109,
"learning_rate": 2.9934695904380658e-06,
"loss": 0.033,
"step": 392
},
{
"epoch": 1.3645833333333333,
"grad_norm": 0.10642342269420624,
"learning_rate": 2.984278246530255e-06,
"loss": 0.0357,
"step": 393
},
{
"epoch": 1.3680555555555556,
"grad_norm": 0.13202299177646637,
"learning_rate": 2.9750800963996567e-06,
"loss": 0.0337,
"step": 394
},
{
"epoch": 1.3715277777777777,
"grad_norm": 0.11188042163848877,
"learning_rate": 2.9658752693204218e-06,
"loss": 0.0342,
"step": 395
},
{
"epoch": 1.375,
"grad_norm": 0.1219249740242958,
"learning_rate": 2.9566638946605393e-06,
"loss": 0.0355,
"step": 396
},
{
"epoch": 1.3784722222222223,
"grad_norm": 0.13167539238929749,
"learning_rate": 2.947446101880025e-06,
"loss": 0.0365,
"step": 397
},
{
"epoch": 1.3819444444444444,
"grad_norm": 0.11574683338403702,
"learning_rate": 2.9382220205290923e-06,
"loss": 0.0348,
"step": 398
},
{
"epoch": 1.3854166666666667,
"grad_norm": 0.11228840798139572,
"learning_rate": 2.92899178024634e-06,
"loss": 0.0353,
"step": 399
},
{
"epoch": 1.3888888888888888,
"grad_norm": 0.08646392822265625,
"learning_rate": 2.9197555107569266e-06,
"loss": 0.0349,
"step": 400
},
{
"epoch": 1.3923611111111112,
"grad_norm": 0.10196250677108765,
"learning_rate": 2.9105133418707426e-06,
"loss": 0.0344,
"step": 401
},
{
"epoch": 1.3958333333333333,
"grad_norm": 0.09208845347166061,
"learning_rate": 2.9012654034805976e-06,
"loss": 0.0343,
"step": 402
},
{
"epoch": 1.3993055555555556,
"grad_norm": 0.10160809755325317,
"learning_rate": 2.892011825560383e-06,
"loss": 0.0342,
"step": 403
},
{
"epoch": 1.4027777777777777,
"grad_norm": 0.12244601547718048,
"learning_rate": 2.8827527381632525e-06,
"loss": 0.0357,
"step": 404
},
{
"epoch": 1.40625,
"grad_norm": 0.11082416027784348,
"learning_rate": 2.8734882714197917e-06,
"loss": 0.0351,
"step": 405
},
{
"epoch": 1.4097222222222223,
"grad_norm": 0.1262350082397461,
"learning_rate": 2.864218555536188e-06,
"loss": 0.034,
"step": 406
},
{
"epoch": 1.4131944444444444,
"grad_norm": 0.12037837505340576,
"learning_rate": 2.8549437207924037e-06,
"loss": 0.0344,
"step": 407
},
{
"epoch": 1.4166666666666667,
"grad_norm": 0.08786515891551971,
"learning_rate": 2.8456638975403426e-06,
"loss": 0.0339,
"step": 408
},
{
"epoch": 1.4201388888888888,
"grad_norm": 0.09171997755765915,
"learning_rate": 2.836379216202021e-06,
"loss": 0.0346,
"step": 409
},
{
"epoch": 1.4236111111111112,
"grad_norm": 0.09611935168504715,
"learning_rate": 2.8270898072677285e-06,
"loss": 0.0353,
"step": 410
},
{
"epoch": 1.4270833333333333,
"grad_norm": 0.227742001414299,
"learning_rate": 2.8177958012942015e-06,
"loss": 0.0342,
"step": 411
},
{
"epoch": 1.4305555555555556,
"grad_norm": 0.09076597541570663,
"learning_rate": 2.808497328902783e-06,
"loss": 0.0346,
"step": 412
},
{
"epoch": 1.4340277777777777,
"grad_norm": 0.08244024962186813,
"learning_rate": 2.7991945207775896e-06,
"loss": 0.0343,
"step": 413
},
{
"epoch": 1.4375,
"grad_norm": 0.08759651333093643,
"learning_rate": 2.7898875076636735e-06,
"loss": 0.0344,
"step": 414
},
{
"epoch": 1.4409722222222223,
"grad_norm": 0.09875623136758804,
"learning_rate": 2.7805764203651857e-06,
"loss": 0.034,
"step": 415
},
{
"epoch": 1.4444444444444444,
"grad_norm": 0.1014552116394043,
"learning_rate": 2.7712613897435357e-06,
"loss": 0.0325,
"step": 416
},
{
"epoch": 1.4479166666666667,
"grad_norm": 0.10211663693189621,
"learning_rate": 2.761942546715558e-06,
"loss": 0.0352,
"step": 417
},
{
"epoch": 1.4513888888888888,
"grad_norm": 0.10028363764286041,
"learning_rate": 2.752620022251662e-06,
"loss": 0.0344,
"step": 418
},
{
"epoch": 1.4548611111111112,
"grad_norm": 0.1068742424249649,
"learning_rate": 2.7432939473740017e-06,
"loss": 0.0344,
"step": 419
},
{
"epoch": 1.4583333333333333,
"grad_norm": 0.11455323547124863,
"learning_rate": 2.73396445315463e-06,
"loss": 0.0336,
"step": 420
},
{
"epoch": 1.4618055555555556,
"grad_norm": 0.11361102759838104,
"learning_rate": 2.7246316707136532e-06,
"loss": 0.0335,
"step": 421
},
{
"epoch": 1.4652777777777777,
"grad_norm": 0.09340100735425949,
"learning_rate": 2.715295731217396e-06,
"loss": 0.0342,
"step": 422
},
{
"epoch": 1.46875,
"grad_norm": 0.08380884677171707,
"learning_rate": 2.705956765876549e-06,
"loss": 0.0348,
"step": 423
},
{
"epoch": 1.4722222222222223,
"grad_norm": 0.18371760845184326,
"learning_rate": 2.6966149059443315e-06,
"loss": 0.0356,
"step": 424
},
{
"epoch": 1.4756944444444444,
"grad_norm": 0.09755038470029831,
"learning_rate": 2.687270282714644e-06,
"loss": 0.0348,
"step": 425
},
{
"epoch": 1.4791666666666667,
"grad_norm": 0.12309851497411728,
"learning_rate": 2.6779230275202244e-06,
"loss": 0.0326,
"step": 426
},
{
"epoch": 1.4826388888888888,
"grad_norm": 0.07623454183340073,
"learning_rate": 2.6685732717307996e-06,
"loss": 0.0349,
"step": 427
},
{
"epoch": 1.4861111111111112,
"grad_norm": 0.11328881233930588,
"learning_rate": 2.659221146751241e-06,
"loss": 0.0338,
"step": 428
},
{
"epoch": 1.4895833333333333,
"grad_norm": 0.07914930582046509,
"learning_rate": 2.6498667840197185e-06,
"loss": 0.0327,
"step": 429
},
{
"epoch": 1.4930555555555556,
"grad_norm": 0.08887946605682373,
"learning_rate": 2.6405103150058515e-06,
"loss": 0.0324,
"step": 430
},
{
"epoch": 1.4965277777777777,
"grad_norm": 0.10010132193565369,
"learning_rate": 2.6311518712088617e-06,
"loss": 0.0345,
"step": 431
},
{
"epoch": 1.5,
"grad_norm": 0.08699404448270798,
"learning_rate": 2.6217915841557257e-06,
"loss": 0.0342,
"step": 432
},
{
"epoch": 1.5034722222222223,
"grad_norm": 0.09522323310375214,
"learning_rate": 2.612429585399326e-06,
"loss": 0.0334,
"step": 433
},
{
"epoch": 1.5069444444444444,
"grad_norm": 0.3448934555053711,
"learning_rate": 2.6030660065165993e-06,
"loss": 0.036,
"step": 434
},
{
"epoch": 1.5104166666666665,
"grad_norm": 0.08791328221559525,
"learning_rate": 2.5937009791066953e-06,
"loss": 0.0332,
"step": 435
},
{
"epoch": 1.5138888888888888,
"grad_norm": 0.08862703293561935,
"learning_rate": 2.5843346347891163e-06,
"loss": 0.034,
"step": 436
},
{
"epoch": 1.5173611111111112,
"grad_norm": 0.10206678509712219,
"learning_rate": 2.5749671052018767e-06,
"loss": 0.0353,
"step": 437
},
{
"epoch": 1.5208333333333335,
"grad_norm": 0.08325862884521484,
"learning_rate": 2.565598521999647e-06,
"loss": 0.0329,
"step": 438
},
{
"epoch": 1.5243055555555556,
"grad_norm": 0.09117390215396881,
"learning_rate": 2.5562290168519068e-06,
"loss": 0.0327,
"step": 439
},
{
"epoch": 1.5277777777777777,
"grad_norm": 0.10089855641126633,
"learning_rate": 2.5468587214410926e-06,
"loss": 0.0347,
"step": 440
},
{
"epoch": 1.53125,
"grad_norm": 0.0844096839427948,
"learning_rate": 2.537487767460748e-06,
"loss": 0.0347,
"step": 441
},
{
"epoch": 1.5347222222222223,
"grad_norm": 0.1482667326927185,
"learning_rate": 2.5281162866136703e-06,
"loss": 0.0336,
"step": 442
},
{
"epoch": 1.5381944444444444,
"grad_norm": 0.10980680584907532,
"learning_rate": 2.518744410610065e-06,
"loss": 0.0353,
"step": 443
},
{
"epoch": 1.5416666666666665,
"grad_norm": 0.08856187760829926,
"learning_rate": 2.509372271165688e-06,
"loss": 0.0342,
"step": 444
},
{
"epoch": 1.5451388888888888,
"grad_norm": 0.11350642144680023,
"learning_rate": 2.5e-06,
"loss": 0.0327,
"step": 445
},
{
"epoch": 1.5486111111111112,
"grad_norm": 0.0881035178899765,
"learning_rate": 2.4906277288343123e-06,
"loss": 0.0346,
"step": 446
},
{
"epoch": 1.5520833333333335,
"grad_norm": 0.08988867700099945,
"learning_rate": 2.4812555893899354e-06,
"loss": 0.0346,
"step": 447
},
{
"epoch": 1.5555555555555556,
"grad_norm": 0.12381166219711304,
"learning_rate": 2.47188371338633e-06,
"loss": 0.034,
"step": 448
},
{
"epoch": 1.5590277777777777,
"grad_norm": 0.0797121673822403,
"learning_rate": 2.462512232539253e-06,
"loss": 0.0331,
"step": 449
},
{
"epoch": 1.5625,
"grad_norm": 0.08082444220781326,
"learning_rate": 2.4531412785589086e-06,
"loss": 0.0335,
"step": 450
},
{
"epoch": 1.5659722222222223,
"grad_norm": 0.08089325577020645,
"learning_rate": 2.4437709831480936e-06,
"loss": 0.0339,
"step": 451
},
{
"epoch": 1.5694444444444444,
"grad_norm": 0.08041566610336304,
"learning_rate": 2.4344014780003532e-06,
"loss": 0.033,
"step": 452
},
{
"epoch": 1.5729166666666665,
"grad_norm": 0.07629969716072083,
"learning_rate": 2.4250328947981246e-06,
"loss": 0.0331,
"step": 453
},
{
"epoch": 1.5763888888888888,
"grad_norm": 0.08418645709753036,
"learning_rate": 2.4156653652108846e-06,
"loss": 0.0329,
"step": 454
},
{
"epoch": 1.5798611111111112,
"grad_norm": 0.08451014012098312,
"learning_rate": 2.4062990208933055e-06,
"loss": 0.0342,
"step": 455
},
{
"epoch": 1.5833333333333335,
"grad_norm": 0.09519058465957642,
"learning_rate": 2.396933993483401e-06,
"loss": 0.0338,
"step": 456
},
{
"epoch": 1.5868055555555556,
"grad_norm": 0.08267609775066376,
"learning_rate": 2.3875704146006754e-06,
"loss": 0.034,
"step": 457
},
{
"epoch": 1.5902777777777777,
"grad_norm": 0.09301088750362396,
"learning_rate": 2.3782084158442747e-06,
"loss": 0.0318,
"step": 458
},
{
"epoch": 1.59375,
"grad_norm": 0.0884101614356041,
"learning_rate": 2.3688481287911387e-06,
"loss": 0.0333,
"step": 459
},
{
"epoch": 1.5972222222222223,
"grad_norm": 0.1050783172249794,
"learning_rate": 2.3594896849941493e-06,
"loss": 0.0354,
"step": 460
},
{
"epoch": 1.6006944444444444,
"grad_norm": 0.08727885782718658,
"learning_rate": 2.3501332159802827e-06,
"loss": 0.0328,
"step": 461
},
{
"epoch": 1.6041666666666665,
"grad_norm": 0.14543761312961578,
"learning_rate": 2.3407788532487595e-06,
"loss": 0.035,
"step": 462
},
{
"epoch": 1.6076388888888888,
"grad_norm": 0.07555941492319107,
"learning_rate": 2.3314267282692017e-06,
"loss": 0.0328,
"step": 463
},
{
"epoch": 1.6111111111111112,
"grad_norm": 0.08927436918020248,
"learning_rate": 2.3220769724797765e-06,
"loss": 0.0337,
"step": 464
},
{
"epoch": 1.6145833333333335,
"grad_norm": 0.08585847914218903,
"learning_rate": 2.312729717285356e-06,
"loss": 0.0338,
"step": 465
},
{
"epoch": 1.6180555555555556,
"grad_norm": 0.09755540639162064,
"learning_rate": 2.3033850940556693e-06,
"loss": 0.034,
"step": 466
},
{
"epoch": 1.6215277777777777,
"grad_norm": 0.09897331893444061,
"learning_rate": 2.294043234123452e-06,
"loss": 0.034,
"step": 467
},
{
"epoch": 1.625,
"grad_norm": 0.09724624454975128,
"learning_rate": 2.2847042687826052e-06,
"loss": 0.035,
"step": 468
},
{
"epoch": 1.6284722222222223,
"grad_norm": 0.08342147618532181,
"learning_rate": 2.2753683292863467e-06,
"loss": 0.0325,
"step": 469
},
{
"epoch": 1.6319444444444444,
"grad_norm": 0.07785166054964066,
"learning_rate": 2.2660355468453706e-06,
"loss": 0.0334,
"step": 470
},
{
"epoch": 1.6354166666666665,
"grad_norm": 0.09935390949249268,
"learning_rate": 2.256706052625999e-06,
"loss": 0.0319,
"step": 471
},
{
"epoch": 1.6388888888888888,
"grad_norm": 0.1128755435347557,
"learning_rate": 2.247379977748339e-06,
"loss": 0.0334,
"step": 472
},
{
"epoch": 1.6423611111111112,
"grad_norm": 0.08226320892572403,
"learning_rate": 2.238057453284443e-06,
"loss": 0.0337,
"step": 473
},
{
"epoch": 1.6458333333333335,
"grad_norm": 0.09652496874332428,
"learning_rate": 2.2287386102564647e-06,
"loss": 0.0342,
"step": 474
},
{
"epoch": 1.6493055555555556,
"grad_norm": 0.10443145781755447,
"learning_rate": 2.2194235796348156e-06,
"loss": 0.0337,
"step": 475
},
{
"epoch": 1.6527777777777777,
"grad_norm": 0.0930706337094307,
"learning_rate": 2.210112492336327e-06,
"loss": 0.0327,
"step": 476
},
{
"epoch": 1.65625,
"grad_norm": 0.08750075846910477,
"learning_rate": 2.200805479222411e-06,
"loss": 0.0341,
"step": 477
},
{
"epoch": 1.6597222222222223,
"grad_norm": 0.09725753217935562,
"learning_rate": 2.191502671097218e-06,
"loss": 0.0329,
"step": 478
},
{
"epoch": 1.6631944444444444,
"grad_norm": 0.09370933473110199,
"learning_rate": 2.1822041987058e-06,
"loss": 0.0323,
"step": 479
},
{
"epoch": 1.6666666666666665,
"grad_norm": 0.11352363973855972,
"learning_rate": 2.1729101927322715e-06,
"loss": 0.0353,
"step": 480
},
{
"epoch": 1.6701388888888888,
"grad_norm": 0.10422051697969437,
"learning_rate": 2.16362078379798e-06,
"loss": 0.0336,
"step": 481
},
{
"epoch": 1.6736111111111112,
"grad_norm": 0.07686290889978409,
"learning_rate": 2.154336102459658e-06,
"loss": 0.0346,
"step": 482
},
{
"epoch": 1.6770833333333335,
"grad_norm": 0.09117128700017929,
"learning_rate": 2.1450562792075967e-06,
"loss": 0.0343,
"step": 483
},
{
"epoch": 1.6805555555555556,
"grad_norm": 0.08517707884311676,
"learning_rate": 2.135781444463813e-06,
"loss": 0.0327,
"step": 484
},
{
"epoch": 1.6840277777777777,
"grad_norm": 0.08548937737941742,
"learning_rate": 2.126511728580209e-06,
"loss": 0.0334,
"step": 485
},
{
"epoch": 1.6875,
"grad_norm": 0.08858038485050201,
"learning_rate": 2.1172472618367483e-06,
"loss": 0.0335,
"step": 486
},
{
"epoch": 1.6909722222222223,
"grad_norm": 0.09837979823350906,
"learning_rate": 2.1079881744396174e-06,
"loss": 0.0323,
"step": 487
},
{
"epoch": 1.6944444444444444,
"grad_norm": 0.0856815055012703,
"learning_rate": 2.0987345965194028e-06,
"loss": 0.0342,
"step": 488
},
{
"epoch": 1.6979166666666665,
"grad_norm": 0.11249001324176788,
"learning_rate": 2.0894866581292582e-06,
"loss": 0.033,
"step": 489
},
{
"epoch": 1.7013888888888888,
"grad_norm": 0.1011880487203598,
"learning_rate": 2.080244489243075e-06,
"loss": 0.033,
"step": 490
},
{
"epoch": 1.7048611111111112,
"grad_norm": 0.08275032788515091,
"learning_rate": 2.07100821975366e-06,
"loss": 0.0322,
"step": 491
},
{
"epoch": 1.7083333333333335,
"grad_norm": 0.2342270016670227,
"learning_rate": 2.0617779794709086e-06,
"loss": 0.0359,
"step": 492
},
{
"epoch": 1.7118055555555556,
"grad_norm": 0.31100139021873474,
"learning_rate": 2.052553898119976e-06,
"loss": 0.0355,
"step": 493
},
{
"epoch": 1.7152777777777777,
"grad_norm": 0.0901796892285347,
"learning_rate": 2.0433361053394607e-06,
"loss": 0.0333,
"step": 494
},
{
"epoch": 1.71875,
"grad_norm": 0.09563644230365753,
"learning_rate": 2.034124730679579e-06,
"loss": 0.0337,
"step": 495
},
{
"epoch": 1.7222222222222223,
"grad_norm": 0.0828825905919075,
"learning_rate": 2.024919903600344e-06,
"loss": 0.0318,
"step": 496
},
{
"epoch": 1.7256944444444444,
"grad_norm": 0.10687359422445297,
"learning_rate": 2.015721753469746e-06,
"loss": 0.0331,
"step": 497
},
{
"epoch": 1.7291666666666665,
"grad_norm": 0.08469292521476746,
"learning_rate": 2.0065304095619346e-06,
"loss": 0.0328,
"step": 498
},
{
"epoch": 1.7326388888888888,
"grad_norm": 0.09606139361858368,
"learning_rate": 1.997346001055406e-06,
"loss": 0.0331,
"step": 499
},
{
"epoch": 1.7361111111111112,
"grad_norm": 0.09543082863092422,
"learning_rate": 1.988168657031179e-06,
"loss": 0.0335,
"step": 500
},
{
"epoch": 1.7395833333333335,
"grad_norm": 0.12665878236293793,
"learning_rate": 1.978998506470988e-06,
"loss": 0.0339,
"step": 501
},
{
"epoch": 1.7430555555555556,
"grad_norm": 0.08768679946660995,
"learning_rate": 1.9698356782554687e-06,
"loss": 0.0318,
"step": 502
},
{
"epoch": 1.7465277777777777,
"grad_norm": 0.09412168711423874,
"learning_rate": 1.960680301162344e-06,
"loss": 0.035,
"step": 503
},
{
"epoch": 1.75,
"grad_norm": 0.10155269503593445,
"learning_rate": 1.951532503864617e-06,
"loss": 0.0338,
"step": 504
},
{
"epoch": 1.7534722222222223,
"grad_norm": 0.09157512336969376,
"learning_rate": 1.9423924149287602e-06,
"loss": 0.0341,
"step": 505
},
{
"epoch": 1.7569444444444444,
"grad_norm": 0.10498194396495819,
"learning_rate": 1.9332601628129127e-06,
"loss": 0.0339,
"step": 506
},
{
"epoch": 1.7604166666666665,
"grad_norm": 0.0840122327208519,
"learning_rate": 1.9241358758650702e-06,
"loss": 0.0324,
"step": 507
},
{
"epoch": 1.7638888888888888,
"grad_norm": 0.11167245358228683,
"learning_rate": 1.915019682321283e-06,
"loss": 0.0322,
"step": 508
},
{
"epoch": 1.7673611111111112,
"grad_norm": 0.09572207927703857,
"learning_rate": 1.905911710303853e-06,
"loss": 0.0324,
"step": 509
},
{
"epoch": 1.7708333333333335,
"grad_norm": 0.09823821485042572,
"learning_rate": 1.8968120878195373e-06,
"loss": 0.0328,
"step": 510
},
{
"epoch": 1.7743055555555556,
"grad_norm": 0.0986163541674614,
"learning_rate": 1.8877209427577412e-06,
"loss": 0.0352,
"step": 511
},
{
"epoch": 1.7777777777777777,
"grad_norm": 0.11851443350315094,
"learning_rate": 1.8786384028887272e-06,
"loss": 0.0336,
"step": 512
},
{
"epoch": 1.78125,
"grad_norm": 0.09046804904937744,
"learning_rate": 1.8695645958618192e-06,
"loss": 0.0341,
"step": 513
},
{
"epoch": 1.7847222222222223,
"grad_norm": 0.09390436112880707,
"learning_rate": 1.8604996492036031e-06,
"loss": 0.0333,
"step": 514
},
{
"epoch": 1.7881944444444444,
"grad_norm": 0.09248839318752289,
"learning_rate": 1.8514436903161399e-06,
"loss": 0.0341,
"step": 515
},
{
"epoch": 1.7916666666666665,
"grad_norm": 0.089256651699543,
"learning_rate": 1.8423968464751723e-06,
"loss": 0.0326,
"step": 516
},
{
"epoch": 1.7951388888888888,
"grad_norm": 0.08673638850450516,
"learning_rate": 1.8333592448283386e-06,
"loss": 0.0341,
"step": 517
},
{
"epoch": 1.7986111111111112,
"grad_norm": 0.09792578220367432,
"learning_rate": 1.8243310123933813e-06,
"loss": 0.0334,
"step": 518
},
{
"epoch": 1.8020833333333335,
"grad_norm": 0.08559972792863846,
"learning_rate": 1.8153122760563671e-06,
"loss": 0.0336,
"step": 519
},
{
"epoch": 1.8055555555555556,
"grad_norm": 0.08834969252347946,
"learning_rate": 1.8063031625698984e-06,
"loss": 0.0325,
"step": 520
},
{
"epoch": 1.8090277777777777,
"grad_norm": 0.16573822498321533,
"learning_rate": 1.7973037985513373e-06,
"loss": 0.0329,
"step": 521
},
{
"epoch": 1.8125,
"grad_norm": 0.1244572177529335,
"learning_rate": 1.7883143104810225e-06,
"loss": 0.0338,
"step": 522
},
{
"epoch": 1.8159722222222223,
"grad_norm": 0.09488087147474289,
"learning_rate": 1.7793348247004905e-06,
"loss": 0.0337,
"step": 523
},
{
"epoch": 1.8194444444444444,
"grad_norm": 0.38386884331703186,
"learning_rate": 1.7703654674107047e-06,
"loss": 0.0355,
"step": 524
},
{
"epoch": 1.8229166666666665,
"grad_norm": 0.08194152265787125,
"learning_rate": 1.7614063646702785e-06,
"loss": 0.0319,
"step": 525
},
{
"epoch": 1.8263888888888888,
"grad_norm": 0.080869160592556,
"learning_rate": 1.7524576423937026e-06,
"loss": 0.0341,
"step": 526
},
{
"epoch": 1.8298611111111112,
"grad_norm": 0.08877138793468475,
"learning_rate": 1.7435194263495776e-06,
"loss": 0.0329,
"step": 527
},
{
"epoch": 1.8333333333333335,
"grad_norm": 0.09945903718471527,
"learning_rate": 1.734591842158847e-06,
"loss": 0.0328,
"step": 528
},
{
"epoch": 1.8368055555555556,
"grad_norm": 0.12519390881061554,
"learning_rate": 1.7256750152930285e-06,
"loss": 0.0333,
"step": 529
},
{
"epoch": 1.8402777777777777,
"grad_norm": 0.09540285915136337,
"learning_rate": 1.7167690710724528e-06,
"loss": 0.0328,
"step": 530
},
{
"epoch": 1.84375,
"grad_norm": 0.09680230915546417,
"learning_rate": 1.7078741346645035e-06,
"loss": 0.0342,
"step": 531
},
{
"epoch": 1.8472222222222223,
"grad_norm": 0.07564783096313477,
"learning_rate": 1.698990331081855e-06,
"loss": 0.0325,
"step": 532
},
{
"epoch": 1.8506944444444444,
"grad_norm": 0.09180152416229248,
"learning_rate": 1.6901177851807168e-06,
"loss": 0.0321,
"step": 533
},
{
"epoch": 1.8541666666666665,
"grad_norm": 0.10208146274089813,
"learning_rate": 1.6812566216590786e-06,
"loss": 0.0333,
"step": 534
},
{
"epoch": 1.8576388888888888,
"grad_norm": 0.1024680882692337,
"learning_rate": 1.6724069650549606e-06,
"loss": 0.0353,
"step": 535
},
{
"epoch": 1.8611111111111112,
"grad_norm": 0.10866821557283401,
"learning_rate": 1.6635689397446564e-06,
"loss": 0.0339,
"step": 536
},
{
"epoch": 1.8645833333333335,
"grad_norm": 0.09033416211605072,
"learning_rate": 1.6547426699409931e-06,
"loss": 0.0325,
"step": 537
},
{
"epoch": 1.8680555555555556,
"grad_norm": 0.07767568528652191,
"learning_rate": 1.6459282796915782e-06,
"loss": 0.0329,
"step": 538
},
{
"epoch": 1.8715277777777777,
"grad_norm": 0.09547679126262665,
"learning_rate": 1.6371258928770629e-06,
"loss": 0.0331,
"step": 539
},
{
"epoch": 1.875,
"grad_norm": 0.0805947333574295,
"learning_rate": 1.6283356332093954e-06,
"loss": 0.0333,
"step": 540
},
{
"epoch": 1.8784722222222223,
"grad_norm": 0.09117279201745987,
"learning_rate": 1.6195576242300848e-06,
"loss": 0.0331,
"step": 541
},
{
"epoch": 1.8819444444444444,
"grad_norm": 0.09735280275344849,
"learning_rate": 1.610791989308466e-06,
"loss": 0.033,
"step": 542
},
{
"epoch": 1.8854166666666665,
"grad_norm": 0.07676882296800613,
"learning_rate": 1.6020388516399644e-06,
"loss": 0.0332,
"step": 543
},
{
"epoch": 1.8888888888888888,
"grad_norm": 0.0865699052810669,
"learning_rate": 1.5932983342443611e-06,
"loss": 0.0341,
"step": 544
},
{
"epoch": 1.8923611111111112,
"grad_norm": 0.07805299013853073,
"learning_rate": 1.584570559964071e-06,
"loss": 0.0321,
"step": 545
},
{
"epoch": 1.8958333333333335,
"grad_norm": 0.08122742921113968,
"learning_rate": 1.5758556514624118e-06,
"loss": 0.0326,
"step": 546
},
{
"epoch": 1.8993055555555556,
"grad_norm": 0.08157409727573395,
"learning_rate": 1.5671537312218805e-06,
"loss": 0.0336,
"step": 547
},
{
"epoch": 1.9027777777777777,
"grad_norm": 0.07330319285392761,
"learning_rate": 1.5584649215424303e-06,
"loss": 0.0329,
"step": 548
},
{
"epoch": 1.90625,
"grad_norm": 0.07048080861568451,
"learning_rate": 1.5497893445397583e-06,
"loss": 0.0323,
"step": 549
},
{
"epoch": 1.9097222222222223,
"grad_norm": 0.193235382437706,
"learning_rate": 1.5411271221435815e-06,
"loss": 0.0327,
"step": 550
},
{
"epoch": 1.9131944444444444,
"grad_norm": 0.08565504103899002,
"learning_rate": 1.5324783760959261e-06,
"loss": 0.0332,
"step": 551
},
{
"epoch": 1.9166666666666665,
"grad_norm": 0.0854913592338562,
"learning_rate": 1.5238432279494182e-06,
"loss": 0.0335,
"step": 552
},
{
"epoch": 1.9201388888888888,
"grad_norm": 0.08227759599685669,
"learning_rate": 1.5152217990655742e-06,
"loss": 0.0332,
"step": 553
},
{
"epoch": 1.9236111111111112,
"grad_norm": 0.08253435045480728,
"learning_rate": 1.5066142106130943e-06,
"loss": 0.0323,
"step": 554
},
{
"epoch": 1.9270833333333335,
"grad_norm": 0.09564584493637085,
"learning_rate": 1.4980205835661608e-06,
"loss": 0.0343,
"step": 555
},
{
"epoch": 1.9305555555555556,
"grad_norm": 0.07955571264028549,
"learning_rate": 1.489441038702735e-06,
"loss": 0.0324,
"step": 556
},
{
"epoch": 1.9340277777777777,
"grad_norm": 0.07559920847415924,
"learning_rate": 1.480875696602866e-06,
"loss": 0.0322,
"step": 557
},
{
"epoch": 1.9375,
"grad_norm": 0.08124665915966034,
"learning_rate": 1.4723246776469895e-06,
"loss": 0.0319,
"step": 558
},
{
"epoch": 1.9409722222222223,
"grad_norm": 0.09301026165485382,
"learning_rate": 1.463788102014238e-06,
"loss": 0.0324,
"step": 559
},
{
"epoch": 1.9444444444444444,
"grad_norm": 0.09986859560012817,
"learning_rate": 1.4552660896807553e-06,
"loss": 0.0336,
"step": 560
},
{
"epoch": 1.9479166666666665,
"grad_norm": 0.0797615647315979,
"learning_rate": 1.4467587604180033e-06,
"loss": 0.0322,
"step": 561
},
{
"epoch": 1.9513888888888888,
"grad_norm": 0.07878441363573074,
"learning_rate": 1.438266233791087e-06,
"loss": 0.0322,
"step": 562
},
{
"epoch": 1.9548611111111112,
"grad_norm": 0.08748759329319,
"learning_rate": 1.4297886291570645e-06,
"loss": 0.033,
"step": 563
},
{
"epoch": 1.9583333333333335,
"grad_norm": 0.07532475888729095,
"learning_rate": 1.421326065663281e-06,
"loss": 0.0343,
"step": 564
},
{
"epoch": 1.9618055555555556,
"grad_norm": 0.07612042874097824,
"learning_rate": 1.4128786622456819e-06,
"loss": 0.0315,
"step": 565
},
{
"epoch": 1.9652777777777777,
"grad_norm": 0.07990960776805878,
"learning_rate": 1.4044465376271531e-06,
"loss": 0.032,
"step": 566
},
{
"epoch": 1.96875,
"grad_norm": 0.07755967974662781,
"learning_rate": 1.3960298103158412e-06,
"loss": 0.0325,
"step": 567
},
{
"epoch": 1.9722222222222223,
"grad_norm": 0.46549713611602783,
"learning_rate": 1.387628598603498e-06,
"loss": 0.0344,
"step": 568
},
{
"epoch": 1.9756944444444444,
"grad_norm": 0.08815637975931168,
"learning_rate": 1.3792430205638112e-06,
"loss": 0.0333,
"step": 569
},
{
"epoch": 1.9791666666666665,
"grad_norm": 0.07772219181060791,
"learning_rate": 1.3708731940507464e-06,
"loss": 0.0309,
"step": 570
},
{
"epoch": 1.9826388888888888,
"grad_norm": 0.08856731653213501,
"learning_rate": 1.3625192366968932e-06,
"loss": 0.0322,
"step": 571
},
{
"epoch": 1.9861111111111112,
"grad_norm": 0.1001049056649208,
"learning_rate": 1.3541812659118106e-06,
"loss": 0.0333,
"step": 572
},
{
"epoch": 1.9895833333333335,
"grad_norm": 0.07093587517738342,
"learning_rate": 1.3458593988803751e-06,
"loss": 0.0321,
"step": 573
},
{
"epoch": 1.9930555555555556,
"grad_norm": 0.09380342066287994,
"learning_rate": 1.3375537525611342e-06,
"loss": 0.0343,
"step": 574
},
{
"epoch": 1.9965277777777777,
"grad_norm": 0.08820290863513947,
"learning_rate": 1.3292644436846677e-06,
"loss": 0.0329,
"step": 575
},
{
"epoch": 2.0,
"grad_norm": 0.0801403596997261,
"learning_rate": 1.3209915887519382e-06,
"loss": 0.0324,
"step": 576
},
{
"epoch": 2.0034722222222223,
"grad_norm": 0.08590015023946762,
"learning_rate": 1.3127353040326613e-06,
"loss": 0.0314,
"step": 577
},
{
"epoch": 2.0069444444444446,
"grad_norm": 0.0739566758275032,
"learning_rate": 1.3044957055636699e-06,
"loss": 0.0317,
"step": 578
},
{
"epoch": 2.0104166666666665,
"grad_norm": 0.07540319859981537,
"learning_rate": 1.2962729091472798e-06,
"loss": 0.0319,
"step": 579
},
{
"epoch": 2.013888888888889,
"grad_norm": 0.06790811568498611,
"learning_rate": 1.288067030349664e-06,
"loss": 0.0316,
"step": 580
},
{
"epoch": 2.017361111111111,
"grad_norm": 0.07835891097784042,
"learning_rate": 1.2798781844992318e-06,
"loss": 0.0323,
"step": 581
},
{
"epoch": 2.0208333333333335,
"grad_norm": 0.08071696758270264,
"learning_rate": 1.271706486685005e-06,
"loss": 0.0297,
"step": 582
},
{
"epoch": 2.0243055555555554,
"grad_norm": 0.07958495616912842,
"learning_rate": 1.263552051754999e-06,
"loss": 0.0316,
"step": 583
},
{
"epoch": 2.0277777777777777,
"grad_norm": 0.08378104120492935,
"learning_rate": 1.255414994314611e-06,
"loss": 0.0312,
"step": 584
},
{
"epoch": 2.03125,
"grad_norm": 0.09661484509706497,
"learning_rate": 1.247295428725008e-06,
"loss": 0.032,
"step": 585
},
{
"epoch": 2.0347222222222223,
"grad_norm": 0.07474976032972336,
"learning_rate": 1.2391934691015214e-06,
"loss": 0.0321,
"step": 586
},
{
"epoch": 2.0381944444444446,
"grad_norm": 0.08704522997140884,
"learning_rate": 1.2311092293120426e-06,
"loss": 0.0303,
"step": 587
},
{
"epoch": 2.0416666666666665,
"grad_norm": 0.09962702542543411,
"learning_rate": 1.2230428229754187e-06,
"loss": 0.033,
"step": 588
},
{
"epoch": 2.045138888888889,
"grad_norm": 0.07692939043045044,
"learning_rate": 1.2149943634598635e-06,
"loss": 0.0311,
"step": 589
},
{
"epoch": 2.048611111111111,
"grad_norm": 0.07630238682031631,
"learning_rate": 1.2069639638813557e-06,
"loss": 0.0323,
"step": 590
},
{
"epoch": 2.0520833333333335,
"grad_norm": 0.07105807214975357,
"learning_rate": 1.1989517371020542e-06,
"loss": 0.0311,
"step": 591
},
{
"epoch": 2.0555555555555554,
"grad_norm": 0.08539631217718124,
"learning_rate": 1.190957795728712e-06,
"loss": 0.0314,
"step": 592
},
{
"epoch": 2.0590277777777777,
"grad_norm": 0.07606377452611923,
"learning_rate": 1.1829822521110917e-06,
"loss": 0.0297,
"step": 593
},
{
"epoch": 2.0625,
"grad_norm": 0.0736665353178978,
"learning_rate": 1.1750252183403871e-06,
"loss": 0.03,
"step": 594
},
{
"epoch": 2.0659722222222223,
"grad_norm": 0.07256300747394562,
"learning_rate": 1.1670868062476462e-06,
"loss": 0.0306,
"step": 595
},
{
"epoch": 2.0694444444444446,
"grad_norm": 0.0869077667593956,
"learning_rate": 1.1591671274022034e-06,
"loss": 0.0303,
"step": 596
},
{
"epoch": 2.0729166666666665,
"grad_norm": 0.08701958507299423,
"learning_rate": 1.1512662931101102e-06,
"loss": 0.0307,
"step": 597
},
{
"epoch": 2.076388888888889,
"grad_norm": 0.07373093068599701,
"learning_rate": 1.1433844144125666e-06,
"loss": 0.0306,
"step": 598
},
{
"epoch": 2.079861111111111,
"grad_norm": 0.07683662325143814,
"learning_rate": 1.1355216020843649e-06,
"loss": 0.0314,
"step": 599
},
{
"epoch": 2.0833333333333335,
"grad_norm": 0.0713699534535408,
"learning_rate": 1.1276779666323337e-06,
"loss": 0.0308,
"step": 600
},
{
"epoch": 2.0868055555555554,
"grad_norm": 0.09329617768526077,
"learning_rate": 1.1198536182937794e-06,
"loss": 0.0323,
"step": 601
},
{
"epoch": 2.0902777777777777,
"grad_norm": 0.07457021623849869,
"learning_rate": 1.1120486670349443e-06,
"loss": 0.0306,
"step": 602
},
{
"epoch": 2.09375,
"grad_norm": 0.08459705114364624,
"learning_rate": 1.1042632225494529e-06,
"loss": 0.0319,
"step": 603
},
{
"epoch": 2.0972222222222223,
"grad_norm": 0.07791051268577576,
"learning_rate": 1.0964973942567783e-06,
"loss": 0.031,
"step": 604
},
{
"epoch": 2.1006944444444446,
"grad_norm": 0.07818476110696793,
"learning_rate": 1.0887512913006976e-06,
"loss": 0.0317,
"step": 605
},
{
"epoch": 2.1041666666666665,
"grad_norm": 0.08858077228069305,
"learning_rate": 1.0810250225477612e-06,
"loss": 0.0333,
"step": 606
},
{
"epoch": 2.107638888888889,
"grad_norm": 0.09768931567668915,
"learning_rate": 1.073318696585764e-06,
"loss": 0.0307,
"step": 607
},
{
"epoch": 2.111111111111111,
"grad_norm": 0.07012086361646652,
"learning_rate": 1.0656324217222171e-06,
"loss": 0.0308,
"step": 608
},
{
"epoch": 2.1145833333333335,
"grad_norm": 0.07889332622289658,
"learning_rate": 1.0579663059828254e-06,
"loss": 0.0303,
"step": 609
},
{
"epoch": 2.1180555555555554,
"grad_norm": 0.08012253046035767,
"learning_rate": 1.0503204571099696e-06,
"loss": 0.0307,
"step": 610
},
{
"epoch": 2.1215277777777777,
"grad_norm": 0.09245440363883972,
"learning_rate": 1.042694982561195e-06,
"loss": 0.0307,
"step": 611
},
{
"epoch": 2.125,
"grad_norm": 0.10081558674573898,
"learning_rate": 1.0350899895076949e-06,
"loss": 0.0309,
"step": 612
},
{
"epoch": 2.1284722222222223,
"grad_norm": 0.08144093304872513,
"learning_rate": 1.027505584832812e-06,
"loss": 0.0314,
"step": 613
},
{
"epoch": 2.1319444444444446,
"grad_norm": 0.08556900173425674,
"learning_rate": 1.0199418751305315e-06,
"loss": 0.0303,
"step": 614
},
{
"epoch": 2.1354166666666665,
"grad_norm": 0.07942487299442291,
"learning_rate": 1.0123989667039823e-06,
"loss": 0.0313,
"step": 615
},
{
"epoch": 2.138888888888889,
"grad_norm": 0.07571721076965332,
"learning_rate": 1.004876965563945e-06,
"loss": 0.0299,
"step": 616
},
{
"epoch": 2.142361111111111,
"grad_norm": 0.07973307371139526,
"learning_rate": 9.973759774273628e-07,
"loss": 0.0304,
"step": 617
},
{
"epoch": 2.1458333333333335,
"grad_norm": 0.07859702408313751,
"learning_rate": 9.898961077158544e-07,
"loss": 0.0314,
"step": 618
},
{
"epoch": 2.1493055555555554,
"grad_norm": 0.07425400614738464,
"learning_rate": 9.824374615542318e-07,
"loss": 0.0307,
"step": 619
},
{
"epoch": 2.1527777777777777,
"grad_norm": 0.06932216137647629,
"learning_rate": 9.750001437690229e-07,
"loss": 0.03,
"step": 620
},
{
"epoch": 2.15625,
"grad_norm": 0.07915540039539337,
"learning_rate": 9.67584258886999e-07,
"loss": 0.0307,
"step": 621
},
{
"epoch": 2.1597222222222223,
"grad_norm": 0.08918701857328415,
"learning_rate": 9.60189911133707e-07,
"loss": 0.0312,
"step": 622
},
{
"epoch": 2.1631944444444446,
"grad_norm": 0.06716031581163406,
"learning_rate": 9.528172044320033e-07,
"loss": 0.0303,
"step": 623
},
{
"epoch": 2.1666666666666665,
"grad_norm": 0.08237398415803909,
"learning_rate": 9.454662424005901e-07,
"loss": 0.0312,
"step": 624
},
{
"epoch": 2.170138888888889,
"grad_norm": 0.0839972272515297,
"learning_rate": 9.381371283525659e-07,
"loss": 0.0294,
"step": 625
},
{
"epoch": 2.173611111111111,
"grad_norm": 0.20741994678974152,
"learning_rate": 9.308299652939667e-07,
"loss": 0.0323,
"step": 626
},
{
"epoch": 2.1770833333333335,
"grad_norm": 0.07882515341043472,
"learning_rate": 9.23544855922322e-07,
"loss": 0.0305,
"step": 627
},
{
"epoch": 2.1805555555555554,
"grad_norm": 0.08123145997524261,
"learning_rate": 9.162819026252118e-07,
"loss": 0.0311,
"step": 628
},
{
"epoch": 2.1840277777777777,
"grad_norm": 0.06976938992738724,
"learning_rate": 9.090412074788269e-07,
"loss": 0.0318,
"step": 629
},
{
"epoch": 2.1875,
"grad_norm": 0.08180829137563705,
"learning_rate": 9.018228722465322e-07,
"loss": 0.0316,
"step": 630
},
{
"epoch": 2.1909722222222223,
"grad_norm": 0.13638685643672943,
"learning_rate": 8.946269983774381e-07,
"loss": 0.0318,
"step": 631
},
{
"epoch": 2.1944444444444446,
"grad_norm": 0.08463310450315475,
"learning_rate": 8.874536870049765e-07,
"loss": 0.031,
"step": 632
},
{
"epoch": 2.1979166666666665,
"grad_norm": 0.07580015063285828,
"learning_rate": 8.80303038945478e-07,
"loss": 0.0304,
"step": 633
},
{
"epoch": 2.201388888888889,
"grad_norm": 0.07334792613983154,
"learning_rate": 8.731751546967531e-07,
"loss": 0.0314,
"step": 634
},
{
"epoch": 2.204861111111111,
"grad_norm": 0.08295217156410217,
"learning_rate": 8.660701344366809e-07,
"loss": 0.0307,
"step": 635
},
{
"epoch": 2.2083333333333335,
"grad_norm": 0.07557862997055054,
"learning_rate": 8.589880780218049e-07,
"loss": 0.0306,
"step": 636
},
{
"epoch": 2.2118055555555554,
"grad_norm": 0.07664569467306137,
"learning_rate": 8.519290849859221e-07,
"loss": 0.0308,
"step": 637
},
{
"epoch": 2.2152777777777777,
"grad_norm": 0.08243940025568008,
"learning_rate": 8.448932545386929e-07,
"loss": 0.0305,
"step": 638
},
{
"epoch": 2.21875,
"grad_norm": 0.09455078840255737,
"learning_rate": 8.378806855642376e-07,
"loss": 0.032,
"step": 639
},
{
"epoch": 2.2222222222222223,
"grad_norm": 0.0757819190621376,
"learning_rate": 8.30891476619756e-07,
"loss": 0.0308,
"step": 640
},
{
"epoch": 2.2256944444444446,
"grad_norm": 0.07992719858884811,
"learning_rate": 8.239257259341338e-07,
"loss": 0.0311,
"step": 641
},
{
"epoch": 2.2291666666666665,
"grad_norm": 0.07270017266273499,
"learning_rate": 8.169835314065663e-07,
"loss": 0.0312,
"step": 642
},
{
"epoch": 2.232638888888889,
"grad_norm": 0.09561949223279953,
"learning_rate": 8.100649906051841e-07,
"loss": 0.0312,
"step": 643
},
{
"epoch": 2.236111111111111,
"grad_norm": 0.09469616413116455,
"learning_rate": 8.031702007656791e-07,
"loss": 0.0319,
"step": 644
},
{
"epoch": 2.2395833333333335,
"grad_norm": 0.08843550086021423,
"learning_rate": 7.962992587899371e-07,
"loss": 0.031,
"step": 645
},
{
"epoch": 2.2430555555555554,
"grad_norm": 0.08293499052524567,
"learning_rate": 7.89452261244677e-07,
"loss": 0.0322,
"step": 646
},
{
"epoch": 2.2465277777777777,
"grad_norm": 0.08645423501729965,
"learning_rate": 7.826293043600963e-07,
"loss": 0.0308,
"step": 647
},
{
"epoch": 2.25,
"grad_norm": 0.08332621306180954,
"learning_rate": 7.758304840285158e-07,
"loss": 0.032,
"step": 648
},
{
"epoch": 2.2534722222222223,
"grad_norm": 0.06776492297649384,
"learning_rate": 7.690558958030306e-07,
"loss": 0.0305,
"step": 649
},
{
"epoch": 2.2569444444444446,
"grad_norm": 0.08468502014875412,
"learning_rate": 7.623056348961694e-07,
"loss": 0.0292,
"step": 650
},
{
"epoch": 2.2604166666666665,
"grad_norm": 0.08029761910438538,
"learning_rate": 7.555797961785586e-07,
"loss": 0.0315,
"step": 651
},
{
"epoch": 2.263888888888889,
"grad_norm": 0.07102996110916138,
"learning_rate": 7.488784741775817e-07,
"loss": 0.0311,
"step": 652
},
{
"epoch": 2.267361111111111,
"grad_norm": 0.07779023796319962,
"learning_rate": 7.422017630760594e-07,
"loss": 0.0313,
"step": 653
},
{
"epoch": 2.2708333333333335,
"grad_norm": 0.07998807728290558,
"learning_rate": 7.35549756710921e-07,
"loss": 0.0307,
"step": 654
},
{
"epoch": 2.2743055555555554,
"grad_norm": 0.0815153494477272,
"learning_rate": 7.289225485718845e-07,
"loss": 0.0315,
"step": 655
},
{
"epoch": 2.2777777777777777,
"grad_norm": 0.08315471559762955,
"learning_rate": 7.223202318001466e-07,
"loss": 0.0298,
"step": 656
},
{
"epoch": 2.28125,
"grad_norm": 0.08561203628778458,
"learning_rate": 7.157428991870693e-07,
"loss": 0.0312,
"step": 657
},
{
"epoch": 2.2847222222222223,
"grad_norm": 0.07471787929534912,
"learning_rate": 7.091906431728812e-07,
"loss": 0.031,
"step": 658
},
{
"epoch": 2.2881944444444446,
"grad_norm": 0.07677436619997025,
"learning_rate": 7.026635558453742e-07,
"loss": 0.0321,
"step": 659
},
{
"epoch": 2.2916666666666665,
"grad_norm": 0.07603947073221207,
"learning_rate": 6.961617289386088e-07,
"loss": 0.0314,
"step": 660
},
{
"epoch": 2.295138888888889,
"grad_norm": 0.09379855543375015,
"learning_rate": 6.896852538316284e-07,
"loss": 0.0309,
"step": 661
},
{
"epoch": 2.298611111111111,
"grad_norm": 0.08050437271595001,
"learning_rate": 6.832342215471716e-07,
"loss": 0.0296,
"step": 662
},
{
"epoch": 2.3020833333333335,
"grad_norm": 0.08762253820896149,
"learning_rate": 6.768087227503939e-07,
"loss": 0.0304,
"step": 663
},
{
"epoch": 2.3055555555555554,
"grad_norm": 0.09014241397380829,
"learning_rate": 6.704088477475956e-07,
"loss": 0.034,
"step": 664
},
{
"epoch": 2.3090277777777777,
"grad_norm": 0.07743160426616669,
"learning_rate": 6.640346864849509e-07,
"loss": 0.0307,
"step": 665
},
{
"epoch": 2.3125,
"grad_norm": 0.08577896654605865,
"learning_rate": 6.576863285472415e-07,
"loss": 0.0308,
"step": 666
},
{
"epoch": 2.3159722222222223,
"grad_norm": 0.07862690836191177,
"learning_rate": 6.513638631566011e-07,
"loss": 0.032,
"step": 667
},
{
"epoch": 2.3194444444444446,
"grad_norm": 0.08192867785692215,
"learning_rate": 6.4506737917126e-07,
"loss": 0.0313,
"step": 668
},
{
"epoch": 2.3229166666666665,
"grad_norm": 0.076665960252285,
"learning_rate": 6.387969650842981e-07,
"loss": 0.0322,
"step": 669
},
{
"epoch": 2.326388888888889,
"grad_norm": 0.07705209404230118,
"learning_rate": 6.325527090223965e-07,
"loss": 0.0318,
"step": 670
},
{
"epoch": 2.329861111111111,
"grad_norm": 0.08457445353269577,
"learning_rate": 6.263346987446029e-07,
"loss": 0.0312,
"step": 671
},
{
"epoch": 2.3333333333333335,
"grad_norm": 0.08644086867570877,
"learning_rate": 6.201430216410986e-07,
"loss": 0.0305,
"step": 672
},
{
"epoch": 2.3368055555555554,
"grad_norm": 0.0853765606880188,
"learning_rate": 6.139777647319667e-07,
"loss": 0.0317,
"step": 673
},
{
"epoch": 2.3402777777777777,
"grad_norm": 0.07388275861740112,
"learning_rate": 6.078390146659738e-07,
"loss": 0.0309,
"step": 674
},
{
"epoch": 2.34375,
"grad_norm": 0.07953795790672302,
"learning_rate": 6.017268577193467e-07,
"loss": 0.0293,
"step": 675
},
{
"epoch": 2.3472222222222223,
"grad_norm": 0.07475805282592773,
"learning_rate": 5.956413797945656e-07,
"loss": 0.0298,
"step": 676
},
{
"epoch": 2.3506944444444446,
"grad_norm": 0.07575996220111847,
"learning_rate": 5.895826664191526e-07,
"loss": 0.0303,
"step": 677
},
{
"epoch": 2.3541666666666665,
"grad_norm": 0.07877416908740997,
"learning_rate": 5.835508027444703e-07,
"loss": 0.032,
"step": 678
},
{
"epoch": 2.357638888888889,
"grad_norm": 0.07567904889583588,
"learning_rate": 5.775458735445275e-07,
"loss": 0.03,
"step": 679
},
{
"epoch": 2.361111111111111,
"grad_norm": 0.07162833958864212,
"learning_rate": 5.715679632147858e-07,
"loss": 0.0317,
"step": 680
},
{
"epoch": 2.3645833333333335,
"grad_norm": 0.07010748982429504,
"learning_rate": 5.656171557709733e-07,
"loss": 0.0309,
"step": 681
},
{
"epoch": 2.3680555555555554,
"grad_norm": 0.07418311387300491,
"learning_rate": 5.596935348479029e-07,
"loss": 0.0304,
"step": 682
},
{
"epoch": 2.3715277777777777,
"grad_norm": 0.07636378705501556,
"learning_rate": 5.537971836983011e-07,
"loss": 0.0305,
"step": 683
},
{
"epoch": 2.375,
"grad_norm": 0.07674182951450348,
"learning_rate": 5.479281851916337e-07,
"loss": 0.0309,
"step": 684
},
{
"epoch": 2.3784722222222223,
"grad_norm": 0.07758651673793793,
"learning_rate": 5.42086621812942e-07,
"loss": 0.0312,
"step": 685
},
{
"epoch": 2.3819444444444446,
"grad_norm": 0.0779494047164917,
"learning_rate": 5.362725756616838e-07,
"loss": 0.0314,
"step": 686
},
{
"epoch": 2.3854166666666665,
"grad_norm": 0.11360656470060349,
"learning_rate": 5.304861284505819e-07,
"loss": 0.0308,
"step": 687
},
{
"epoch": 2.388888888888889,
"grad_norm": 0.07941307872533798,
"learning_rate": 5.247273615044707e-07,
"loss": 0.0321,
"step": 688
},
{
"epoch": 2.392361111111111,
"grad_norm": 0.07135394960641861,
"learning_rate": 5.189963557591577e-07,
"loss": 0.0305,
"step": 689
},
{
"epoch": 2.3958333333333335,
"grad_norm": 0.0761200338602066,
"learning_rate": 5.132931917602854e-07,
"loss": 0.0302,
"step": 690
},
{
"epoch": 2.3993055555555554,
"grad_norm": 0.07725370675325394,
"learning_rate": 5.076179496621958e-07,
"loss": 0.0309,
"step": 691
},
{
"epoch": 2.4027777777777777,
"grad_norm": 0.09048782289028168,
"learning_rate": 5.019707092268081e-07,
"loss": 0.0317,
"step": 692
},
{
"epoch": 2.40625,
"grad_norm": 0.06998349726200104,
"learning_rate": 4.963515498224941e-07,
"loss": 0.0298,
"step": 693
},
{
"epoch": 2.4097222222222223,
"grad_norm": 0.07268805056810379,
"learning_rate": 4.907605504229668e-07,
"loss": 0.0304,
"step": 694
},
{
"epoch": 2.4131944444444446,
"grad_norm": 0.07258985936641693,
"learning_rate": 4.85197789606168e-07,
"loss": 0.0316,
"step": 695
},
{
"epoch": 2.4166666666666665,
"grad_norm": 0.07498931884765625,
"learning_rate": 4.796633455531627e-07,
"loss": 0.0314,
"step": 696
},
{
"epoch": 2.420138888888889,
"grad_norm": 0.07773162424564362,
"learning_rate": 4.741572960470417e-07,
"loss": 0.0312,
"step": 697
},
{
"epoch": 2.423611111111111,
"grad_norm": 0.07057441771030426,
"learning_rate": 4.6867971847183057e-07,
"loss": 0.0298,
"step": 698
},
{
"epoch": 2.4270833333333335,
"grad_norm": 0.07450975477695465,
"learning_rate": 4.6323068981139865e-07,
"loss": 0.0312,
"step": 699
},
{
"epoch": 2.4305555555555554,
"grad_norm": 0.10415519028902054,
"learning_rate": 4.57810286648378e-07,
"loss": 0.0304,
"step": 700
},
{
"epoch": 2.4340277777777777,
"grad_norm": 0.07111155241727829,
"learning_rate": 4.5241858516308886e-07,
"loss": 0.0312,
"step": 701
},
{
"epoch": 2.4375,
"grad_norm": 0.0689658373594284,
"learning_rate": 4.470556611324664e-07,
"loss": 0.0302,
"step": 702
},
{
"epoch": 2.4409722222222223,
"grad_norm": 0.07079221308231354,
"learning_rate": 4.4172158992899673e-07,
"loss": 0.0295,
"step": 703
},
{
"epoch": 2.4444444444444446,
"grad_norm": 0.07274811714887619,
"learning_rate": 4.364164465196594e-07,
"loss": 0.0301,
"step": 704
},
{
"epoch": 2.4479166666666665,
"grad_norm": 0.0727149024605751,
"learning_rate": 4.311403054648716e-07,
"loss": 0.0311,
"step": 705
},
{
"epoch": 2.451388888888889,
"grad_norm": 0.08022144436836243,
"learning_rate": 4.258932409174402e-07,
"loss": 0.0307,
"step": 706
},
{
"epoch": 2.454861111111111,
"grad_norm": 0.08938895165920258,
"learning_rate": 4.2067532662151965e-07,
"loss": 0.0324,
"step": 707
},
{
"epoch": 2.4583333333333335,
"grad_norm": 0.07280925661325455,
"learning_rate": 4.154866359115789e-07,
"loss": 0.0312,
"step": 708
},
{
"epoch": 2.4618055555555554,
"grad_norm": 0.0717618390917778,
"learning_rate": 4.103272417113649e-07,
"loss": 0.0302,
"step": 709
},
{
"epoch": 2.4652777777777777,
"grad_norm": 0.07531286031007767,
"learning_rate": 4.0519721653288326e-07,
"loss": 0.0309,
"step": 710
},
{
"epoch": 2.46875,
"grad_norm": 0.08548147976398468,
"learning_rate": 4.000966324753741e-07,
"loss": 0.0318,
"step": 711
},
{
"epoch": 2.4722222222222223,
"grad_norm": 0.07441239804029465,
"learning_rate": 3.950255612243042e-07,
"loss": 0.0307,
"step": 712
},
{
"epoch": 2.4756944444444446,
"grad_norm": 0.07849752902984619,
"learning_rate": 3.8998407405035437e-07,
"loss": 0.031,
"step": 713
},
{
"epoch": 2.4791666666666665,
"grad_norm": 0.08279726654291153,
"learning_rate": 3.8497224180842065e-07,
"loss": 0.0315,
"step": 714
},
{
"epoch": 2.482638888888889,
"grad_norm": 0.07280096411705017,
"learning_rate": 3.799901349366178e-07,
"loss": 0.0295,
"step": 715
},
{
"epoch": 2.486111111111111,
"grad_norm": 0.08283864706754684,
"learning_rate": 3.7503782345529095e-07,
"loss": 0.0302,
"step": 716
},
{
"epoch": 2.4895833333333335,
"grad_norm": 0.07567720115184784,
"learning_rate": 3.701153769660279e-07,
"loss": 0.0298,
"step": 717
},
{
"epoch": 2.4930555555555554,
"grad_norm": 0.07280651479959488,
"learning_rate": 3.652228646506828e-07,
"loss": 0.0318,
"step": 718
},
{
"epoch": 2.4965277777777777,
"grad_norm": 0.07660435140132904,
"learning_rate": 3.60360355270406e-07,
"loss": 0.0323,
"step": 719
},
{
"epoch": 2.5,
"grad_norm": 0.06559138745069504,
"learning_rate": 3.55527917164675e-07,
"loss": 0.0315,
"step": 720
},
{
"epoch": 2.5034722222222223,
"grad_norm": 0.06885040551424026,
"learning_rate": 3.507256182503335e-07,
"loss": 0.0305,
"step": 721
},
{
"epoch": 2.5069444444444446,
"grad_norm": 0.11531556397676468,
"learning_rate": 3.459535260206384e-07,
"loss": 0.0308,
"step": 722
},
{
"epoch": 2.5104166666666665,
"grad_norm": 0.0792870819568634,
"learning_rate": 3.4121170754431276e-07,
"loss": 0.0302,
"step": 723
},
{
"epoch": 2.513888888888889,
"grad_norm": 0.07011454552412033,
"learning_rate": 3.3650022946459806e-07,
"loss": 0.0298,
"step": 724
},
{
"epoch": 2.517361111111111,
"grad_norm": 0.08552692085504532,
"learning_rate": 3.318191579983235e-07,
"loss": 0.0322,
"step": 725
},
{
"epoch": 2.5208333333333335,
"grad_norm": 0.0726555660367012,
"learning_rate": 3.271685589349721e-07,
"loss": 0.0308,
"step": 726
},
{
"epoch": 2.5243055555555554,
"grad_norm": 0.07766875624656677,
"learning_rate": 3.225484976357557e-07,
"loss": 0.0304,
"step": 727
},
{
"epoch": 2.5277777777777777,
"grad_norm": 0.07210135459899902,
"learning_rate": 3.1795903903269783e-07,
"loss": 0.0316,
"step": 728
},
{
"epoch": 2.53125,
"grad_norm": 0.0863841325044632,
"learning_rate": 3.134002476277201e-07,
"loss": 0.0323,
"step": 729
},
{
"epoch": 2.5347222222222223,
"grad_norm": 0.07878429442644119,
"learning_rate": 3.088721874917372e-07,
"loss": 0.0304,
"step": 730
},
{
"epoch": 2.5381944444444446,
"grad_norm": 0.0796593651175499,
"learning_rate": 3.0437492226375513e-07,
"loss": 0.0307,
"step": 731
},
{
"epoch": 2.5416666666666665,
"grad_norm": 0.0779607966542244,
"learning_rate": 2.9990851514997645e-07,
"loss": 0.032,
"step": 732
},
{
"epoch": 2.545138888888889,
"grad_norm": 0.07694730162620544,
"learning_rate": 2.9547302892291213e-07,
"loss": 0.0312,
"step": 733
},
{
"epoch": 2.548611111111111,
"grad_norm": 0.07988740503787994,
"learning_rate": 2.9106852592050095e-07,
"loss": 0.0296,
"step": 734
},
{
"epoch": 2.5520833333333335,
"grad_norm": 0.07748119533061981,
"learning_rate": 2.866950680452324e-07,
"loss": 0.0315,
"step": 735
},
{
"epoch": 2.5555555555555554,
"grad_norm": 0.07287778705358505,
"learning_rate": 2.8235271676327445e-07,
"loss": 0.0304,
"step": 736
},
{
"epoch": 2.5590277777777777,
"grad_norm": 0.07414110749959946,
"learning_rate": 2.78041533103614e-07,
"loss": 0.0308,
"step": 737
},
{
"epoch": 2.5625,
"grad_norm": 0.06827665865421295,
"learning_rate": 2.737615776571953e-07,
"loss": 0.0318,
"step": 738
},
{
"epoch": 2.5659722222222223,
"grad_norm": 0.08554545789957047,
"learning_rate": 2.695129105760699e-07,
"loss": 0.0315,
"step": 739
},
{
"epoch": 2.5694444444444446,
"grad_norm": 0.08511532098054886,
"learning_rate": 2.652955915725522e-07,
"loss": 0.0308,
"step": 740
},
{
"epoch": 2.5729166666666665,
"grad_norm": 0.06823769211769104,
"learning_rate": 2.611096799183793e-07,
"loss": 0.0293,
"step": 741
},
{
"epoch": 2.576388888888889,
"grad_norm": 0.07958739995956421,
"learning_rate": 2.5695523444387747e-07,
"loss": 0.0298,
"step": 742
},
{
"epoch": 2.579861111111111,
"grad_norm": 0.07139437645673752,
"learning_rate": 2.528323135371349e-07,
"loss": 0.0302,
"step": 743
},
{
"epoch": 2.5833333333333335,
"grad_norm": 0.07491526752710342,
"learning_rate": 2.4874097514318433e-07,
"loss": 0.0305,
"step": 744
},
{
"epoch": 2.5868055555555554,
"grad_norm": 0.0705602765083313,
"learning_rate": 2.44681276763184e-07,
"loss": 0.0315,
"step": 745
},
{
"epoch": 2.5902777777777777,
"grad_norm": 0.07351835817098618,
"learning_rate": 2.4065327545361393e-07,
"loss": 0.0304,
"step": 746
},
{
"epoch": 2.59375,
"grad_norm": 0.07715285569429398,
"learning_rate": 2.3665702782546984e-07,
"loss": 0.0301,
"step": 747
},
{
"epoch": 2.5972222222222223,
"grad_norm": 0.07910597324371338,
"learning_rate": 2.3269259004347232e-07,
"loss": 0.0292,
"step": 748
},
{
"epoch": 2.6006944444444446,
"grad_norm": 0.08254042267799377,
"learning_rate": 2.287600178252719e-07,
"loss": 0.031,
"step": 749
},
{
"epoch": 2.6041666666666665,
"grad_norm": 0.08161944150924683,
"learning_rate": 2.2485936644067119e-07,
"loss": 0.0306,
"step": 750
},
{
"epoch": 2.607638888888889,
"grad_norm": 0.06973577290773392,
"learning_rate": 2.2099069071084417e-07,
"loss": 0.03,
"step": 751
},
{
"epoch": 2.611111111111111,
"grad_norm": 0.07760939747095108,
"learning_rate": 2.1715404500756876e-07,
"loss": 0.0311,
"step": 752
},
{
"epoch": 2.6145833333333335,
"grad_norm": 0.06724958121776581,
"learning_rate": 2.133494832524602e-07,
"loss": 0.0299,
"step": 753
},
{
"epoch": 2.6180555555555554,
"grad_norm": 0.08100852370262146,
"learning_rate": 2.0957705891621383e-07,
"loss": 0.0302,
"step": 754
},
{
"epoch": 2.6215277777777777,
"grad_norm": 0.08792813122272491,
"learning_rate": 2.0583682501785524e-07,
"loss": 0.0314,
"step": 755
},
{
"epoch": 2.625,
"grad_norm": 0.08348779380321503,
"learning_rate": 2.0212883412399409e-07,
"loss": 0.0304,
"step": 756
},
{
"epoch": 2.6284722222222223,
"grad_norm": 0.06598281860351562,
"learning_rate": 1.9845313834808338e-07,
"loss": 0.0301,
"step": 757
},
{
"epoch": 2.6319444444444446,
"grad_norm": 0.08993739634752274,
"learning_rate": 1.9480978934968946e-07,
"loss": 0.031,
"step": 758
},
{
"epoch": 2.6354166666666665,
"grad_norm": 0.07601960003376007,
"learning_rate": 1.9119883833376678e-07,
"loss": 0.0295,
"step": 759
},
{
"epoch": 2.638888888888889,
"grad_norm": 0.0743350088596344,
"learning_rate": 1.8762033604993456e-07,
"loss": 0.0297,
"step": 760
},
{
"epoch": 2.642361111111111,
"grad_norm": 0.07553434371948242,
"learning_rate": 1.840743327917674e-07,
"loss": 0.0305,
"step": 761
},
{
"epoch": 2.6458333333333335,
"grad_norm": 0.08134180307388306,
"learning_rate": 1.805608783960855e-07,
"loss": 0.0308,
"step": 762
},
{
"epoch": 2.6493055555555554,
"grad_norm": 0.0790461078286171,
"learning_rate": 1.7708002224225669e-07,
"loss": 0.0317,
"step": 763
},
{
"epoch": 2.6527777777777777,
"grad_norm": 0.07087615877389908,
"learning_rate": 1.7363181325150024e-07,
"loss": 0.0299,
"step": 764
},
{
"epoch": 2.65625,
"grad_norm": 0.08172857761383057,
"learning_rate": 1.7021629988619974e-07,
"loss": 0.0317,
"step": 765
},
{
"epoch": 2.6597222222222223,
"grad_norm": 0.08409317582845688,
"learning_rate": 1.6683353014922549e-07,
"loss": 0.0302,
"step": 766
},
{
"epoch": 2.6631944444444446,
"grad_norm": 0.09268525242805481,
"learning_rate": 1.6348355158325418e-07,
"loss": 0.0303,
"step": 767
},
{
"epoch": 2.6666666666666665,
"grad_norm": 0.08578655868768692,
"learning_rate": 1.6016641127010373e-07,
"loss": 0.03,
"step": 768
},
{
"epoch": 2.670138888888889,
"grad_norm": 0.07618473470211029,
"learning_rate": 1.5688215583007177e-07,
"loss": 0.0327,
"step": 769
},
{
"epoch": 2.673611111111111,
"grad_norm": 0.07358857244253159,
"learning_rate": 1.5363083142128005e-07,
"loss": 0.029,
"step": 770
},
{
"epoch": 2.6770833333333335,
"grad_norm": 0.1319722682237625,
"learning_rate": 1.5041248373902612e-07,
"loss": 0.0312,
"step": 771
},
{
"epoch": 2.6805555555555554,
"grad_norm": 0.07285432517528534,
"learning_rate": 1.4722715801513938e-07,
"loss": 0.03,
"step": 772
},
{
"epoch": 2.6840277777777777,
"grad_norm": 0.08117173612117767,
"learning_rate": 1.4407489901734766e-07,
"loss": 0.0307,
"step": 773
},
{
"epoch": 2.6875,
"grad_norm": 0.08199554681777954,
"learning_rate": 1.4095575104864617e-07,
"loss": 0.0307,
"step": 774
},
{
"epoch": 2.6909722222222223,
"grad_norm": 0.08660900592803955,
"learning_rate": 1.3786975794667589e-07,
"loss": 0.0312,
"step": 775
},
{
"epoch": 2.6944444444444446,
"grad_norm": 0.07655421644449234,
"learning_rate": 1.348169630831078e-07,
"loss": 0.0306,
"step": 776
},
{
"epoch": 2.6979166666666665,
"grad_norm": 0.0735250860452652,
"learning_rate": 1.3179740936303282e-07,
"loss": 0.0307,
"step": 777
},
{
"epoch": 2.701388888888889,
"grad_norm": 0.07603076845407486,
"learning_rate": 1.288111392243574e-07,
"loss": 0.0303,
"step": 778
},
{
"epoch": 2.704861111111111,
"grad_norm": 0.07170908153057098,
"learning_rate": 1.258581946372095e-07,
"loss": 0.0317,
"step": 779
},
{
"epoch": 2.7083333333333335,
"grad_norm": 0.07100588083267212,
"learning_rate": 1.22938617103347e-07,
"loss": 0.0304,
"step": 780
},
{
"epoch": 2.7118055555555554,
"grad_norm": 0.08404555171728134,
"learning_rate": 1.2005244765557672e-07,
"loss": 0.0309,
"step": 781
},
{
"epoch": 2.7152777777777777,
"grad_norm": 0.080288827419281,
"learning_rate": 1.1719972685717396e-07,
"loss": 0.0303,
"step": 782
},
{
"epoch": 2.71875,
"grad_norm": 0.06903711706399918,
"learning_rate": 1.1438049480131525e-07,
"loss": 0.0304,
"step": 783
},
{
"epoch": 2.7222222222222223,
"grad_norm": 0.07489404827356339,
"learning_rate": 1.1159479111051502e-07,
"loss": 0.0309,
"step": 784
},
{
"epoch": 2.7256944444444446,
"grad_norm": 0.07264979928731918,
"learning_rate": 1.0884265493606633e-07,
"loss": 0.0304,
"step": 785
},
{
"epoch": 2.7291666666666665,
"grad_norm": 0.08701203763484955,
"learning_rate": 1.0612412495749347e-07,
"loss": 0.0308,
"step": 786
},
{
"epoch": 2.732638888888889,
"grad_norm": 0.07101600617170334,
"learning_rate": 1.0343923938200634e-07,
"loss": 0.0311,
"step": 787
},
{
"epoch": 2.736111111111111,
"grad_norm": 0.06843852996826172,
"learning_rate": 1.0078803594396447e-07,
"loss": 0.0304,
"step": 788
},
{
"epoch": 2.7395833333333335,
"grad_norm": 0.06711427867412567,
"learning_rate": 9.817055190434604e-08,
"loss": 0.03,
"step": 789
},
{
"epoch": 2.7430555555555554,
"grad_norm": 0.07748064398765564,
"learning_rate": 9.558682405022445e-08,
"loss": 0.0297,
"step": 790
},
{
"epoch": 2.7465277777777777,
"grad_norm": 0.0736667662858963,
"learning_rate": 9.303688869425203e-08,
"loss": 0.0301,
"step": 791
},
{
"epoch": 2.75,
"grad_norm": 0.07295675575733185,
"learning_rate": 9.052078167414851e-08,
"loss": 0.0313,
"step": 792
},
{
"epoch": 2.7534722222222223,
"grad_norm": 0.07612074911594391,
"learning_rate": 8.803853835219812e-08,
"loss": 0.0301,
"step": 793
},
{
"epoch": 2.7569444444444446,
"grad_norm": 0.06932767480611801,
"learning_rate": 8.559019361475156e-08,
"loss": 0.0306,
"step": 794
},
{
"epoch": 2.7604166666666665,
"grad_norm": 0.08955582976341248,
"learning_rate": 8.317578187173825e-08,
"loss": 0.0316,
"step": 795
},
{
"epoch": 2.763888888888889,
"grad_norm": 0.0764101892709732,
"learning_rate": 8.07953370561787e-08,
"loss": 0.0322,
"step": 796
},
{
"epoch": 2.767361111111111,
"grad_norm": 0.07155953347682953,
"learning_rate": 7.844889262371175e-08,
"loss": 0.0301,
"step": 797
},
{
"epoch": 2.7708333333333335,
"grad_norm": 0.07844618707895279,
"learning_rate": 7.613648155212122e-08,
"loss": 0.0307,
"step": 798
},
{
"epoch": 2.7743055555555554,
"grad_norm": 0.07776734977960587,
"learning_rate": 7.385813634087497e-08,
"loss": 0.0305,
"step": 799
},
{
"epoch": 2.7777777777777777,
"grad_norm": 0.07670630514621735,
"learning_rate": 7.16138890106649e-08,
"loss": 0.0304,
"step": 800
},
{
"epoch": 2.78125,
"grad_norm": 0.07257203012704849,
"learning_rate": 6.940377110296103e-08,
"loss": 0.0313,
"step": 801
},
{
"epoch": 2.7847222222222223,
"grad_norm": 0.08373381197452545,
"learning_rate": 6.722781367956483e-08,
"loss": 0.0314,
"step": 802
},
{
"epoch": 2.7881944444444446,
"grad_norm": 0.07172171771526337,
"learning_rate": 6.508604732217428e-08,
"loss": 0.0302,
"step": 803
},
{
"epoch": 2.7916666666666665,
"grad_norm": 0.07415993511676788,
"learning_rate": 6.297850213195317e-08,
"loss": 0.0306,
"step": 804
},
{
"epoch": 2.795138888888889,
"grad_norm": 0.07504456490278244,
"learning_rate": 6.090520772910863e-08,
"loss": 0.0308,
"step": 805
},
{
"epoch": 2.798611111111111,
"grad_norm": 0.08004260808229446,
"learning_rate": 5.886619325247561e-08,
"loss": 0.031,
"step": 806
},
{
"epoch": 2.8020833333333335,
"grad_norm": 0.07137143611907959,
"learning_rate": 5.686148735910585e-08,
"loss": 0.0305,
"step": 807
},
{
"epoch": 2.8055555555555554,
"grad_norm": 0.07917658239603043,
"learning_rate": 5.489111822386567e-08,
"loss": 0.0314,
"step": 808
},
{
"epoch": 2.8090277777777777,
"grad_norm": 0.06926701962947845,
"learning_rate": 5.295511353903993e-08,
"loss": 0.0308,
"step": 809
},
{
"epoch": 2.8125,
"grad_norm": 0.08771774917840958,
"learning_rate": 5.105350051394398e-08,
"loss": 0.0321,
"step": 810
},
{
"epoch": 2.8159722222222223,
"grad_norm": 0.07307300716638565,
"learning_rate": 4.9186305874539266e-08,
"loss": 0.0291,
"step": 811
},
{
"epoch": 2.8194444444444446,
"grad_norm": 0.0861656442284584,
"learning_rate": 4.735355586305862e-08,
"loss": 0.03,
"step": 812
},
{
"epoch": 2.8229166666666665,
"grad_norm": 0.06259112805128098,
"learning_rate": 4.555527623763878e-08,
"loss": 0.0308,
"step": 813
},
{
"epoch": 2.826388888888889,
"grad_norm": 0.07273875921964645,
"learning_rate": 4.379149227195595e-08,
"loss": 0.0305,
"step": 814
},
{
"epoch": 2.829861111111111,
"grad_norm": 0.07823726534843445,
"learning_rate": 4.206222875487193e-08,
"loss": 0.0309,
"step": 815
},
{
"epoch": 2.8333333333333335,
"grad_norm": 0.08540591597557068,
"learning_rate": 4.036750999008576e-08,
"loss": 0.0304,
"step": 816
},
{
"epoch": 2.8368055555555554,
"grad_norm": 0.0787176787853241,
"learning_rate": 3.87073597957921e-08,
"loss": 0.0308,
"step": 817
},
{
"epoch": 2.8402777777777777,
"grad_norm": 0.07534324377775192,
"learning_rate": 3.7081801504346426e-08,
"loss": 0.0306,
"step": 818
},
{
"epoch": 2.84375,
"grad_norm": 0.07480069249868393,
"learning_rate": 3.549085796193647e-08,
"loss": 0.0307,
"step": 819
},
{
"epoch": 2.8472222222222223,
"grad_norm": 0.07662595063447952,
"learning_rate": 3.393455152826186e-08,
"loss": 0.0308,
"step": 820
},
{
"epoch": 2.8506944444444446,
"grad_norm": 0.07794708013534546,
"learning_rate": 3.241290407622e-08,
"loss": 0.0307,
"step": 821
},
{
"epoch": 2.8541666666666665,
"grad_norm": 0.09365274012088776,
"learning_rate": 3.092593699159846e-08,
"loss": 0.0304,
"step": 822
},
{
"epoch": 2.857638888888889,
"grad_norm": 0.29100650548934937,
"learning_rate": 2.947367117277361e-08,
"loss": 0.0315,
"step": 823
},
{
"epoch": 2.861111111111111,
"grad_norm": 0.22712476551532745,
"learning_rate": 2.8056127030418046e-08,
"loss": 0.0312,
"step": 824
},
{
"epoch": 2.8645833333333335,
"grad_norm": 0.07548069208860397,
"learning_rate": 2.6673324487213603e-08,
"loss": 0.0315,
"step": 825
},
{
"epoch": 2.8680555555555554,
"grad_norm": 0.0894177034497261,
"learning_rate": 2.532528297756992e-08,
"loss": 0.0312,
"step": 826
},
{
"epoch": 2.8715277777777777,
"grad_norm": 0.07930919528007507,
"learning_rate": 2.4012021447353817e-08,
"loss": 0.0312,
"step": 827
},
{
"epoch": 2.875,
"grad_norm": 0.07434222102165222,
"learning_rate": 2.273355835362062e-08,
"loss": 0.031,
"step": 828
},
{
"epoch": 2.8784722222222223,
"grad_norm": 0.07435128837823868,
"learning_rate": 2.1489911664356323e-08,
"loss": 0.0311,
"step": 829
},
{
"epoch": 2.8819444444444446,
"grad_norm": 0.07444646954536438,
"learning_rate": 2.0281098858224158e-08,
"loss": 0.0299,
"step": 830
},
{
"epoch": 2.8854166666666665,
"grad_norm": 0.08751827478408813,
"learning_rate": 1.9107136924319258e-08,
"loss": 0.0311,
"step": 831
},
{
"epoch": 2.888888888888889,
"grad_norm": 0.07868948578834534,
"learning_rate": 1.7968042361930226e-08,
"loss": 0.0298,
"step": 832
},
{
"epoch": 2.892361111111111,
"grad_norm": 0.07375209778547287,
"learning_rate": 1.6863831180306822e-08,
"loss": 0.0316,
"step": 833
},
{
"epoch": 2.8958333333333335,
"grad_norm": 0.08830597996711731,
"learning_rate": 1.5794518898434862e-08,
"loss": 0.0311,
"step": 834
},
{
"epoch": 2.8993055555555554,
"grad_norm": 0.07945113629102707,
"learning_rate": 1.4760120544818346e-08,
"loss": 0.0312,
"step": 835
},
{
"epoch": 2.9027777777777777,
"grad_norm": 0.06849882751703262,
"learning_rate": 1.3760650657268782e-08,
"loss": 0.03,
"step": 836
},
{
"epoch": 2.90625,
"grad_norm": 0.07908596843481064,
"learning_rate": 1.2796123282699247e-08,
"loss": 0.0306,
"step": 837
},
{
"epoch": 2.9097222222222223,
"grad_norm": 0.06601276248693466,
"learning_rate": 1.1866551976928986e-08,
"loss": 0.0284,
"step": 838
},
{
"epoch": 2.9131944444444446,
"grad_norm": 0.07204879820346832,
"learning_rate": 1.0971949804491344e-08,
"loss": 0.0304,
"step": 839
},
{
"epoch": 2.9166666666666665,
"grad_norm": 0.07418639957904816,
"learning_rate": 1.011232933845141e-08,
"loss": 0.0316,
"step": 840
},
{
"epoch": 2.920138888888889,
"grad_norm": 0.07970517128705978,
"learning_rate": 9.28770266022755e-09,
"loss": 0.0313,
"step": 841
},
{
"epoch": 2.923611111111111,
"grad_norm": 0.09216306358575821,
"learning_rate": 8.49808135942376e-09,
"loss": 0.031,
"step": 842
},
{
"epoch": 2.9270833333333335,
"grad_norm": 0.08491267263889313,
"learning_rate": 7.743476533665085e-09,
"loss": 0.0326,
"step": 843
},
{
"epoch": 2.9305555555555554,
"grad_norm": 0.07042358070611954,
"learning_rate": 7.023898788442729e-09,
"loss": 0.031,
"step": 844
},
{
"epoch": 2.9340277777777777,
"grad_norm": 0.07358433306217194,
"learning_rate": 6.3393582369639104e-09,
"loss": 0.031,
"step": 845
},
{
"epoch": 2.9375,
"grad_norm": 0.07359428703784943,
"learning_rate": 5.689864500010856e-09,
"loss": 0.0307,
"step": 846
},
{
"epoch": 2.9409722222222223,
"grad_norm": 0.07165790349245071,
"learning_rate": 5.075426705805353e-09,
"loss": 0.0308,
"step": 847
},
{
"epoch": 2.9444444444444446,
"grad_norm": 0.07343942672014236,
"learning_rate": 4.496053489879415e-09,
"loss": 0.0306,
"step": 848
},
{
"epoch": 2.9479166666666665,
"grad_norm": 0.07413213700056076,
"learning_rate": 3.9517529949553715e-09,
"loss": 0.0301,
"step": 849
},
{
"epoch": 2.951388888888889,
"grad_norm": 0.08277144283056259,
"learning_rate": 3.4425328708306836e-09,
"loss": 0.0308,
"step": 850
},
{
"epoch": 2.954861111111111,
"grad_norm": 0.07588683068752289,
"learning_rate": 2.968400274269978e-09,
"loss": 0.0307,
"step": 851
},
{
"epoch": 2.9583333333333335,
"grad_norm": 0.16103269159793854,
"learning_rate": 2.5293618689056776e-09,
"loss": 0.0305,
"step": 852
},
{
"epoch": 2.9618055555555554,
"grad_norm": 0.0769064798951149,
"learning_rate": 2.1254238251433577e-09,
"loss": 0.031,
"step": 853
},
{
"epoch": 2.9652777777777777,
"grad_norm": 0.06405849754810333,
"learning_rate": 1.7565918200751486e-09,
"loss": 0.0298,
"step": 854
},
{
"epoch": 2.96875,
"grad_norm": 0.08821862190961838,
"learning_rate": 1.4228710374006306e-09,
"loss": 0.0309,
"step": 855
},
{
"epoch": 2.9722222222222223,
"grad_norm": 0.06847349554300308,
"learning_rate": 1.1242661673527278e-09,
"loss": 0.0306,
"step": 856
},
{
"epoch": 2.9756944444444446,
"grad_norm": 0.07664573192596436,
"learning_rate": 8.607814066335928e-10,
"loss": 0.0313,
"step": 857
},
{
"epoch": 2.9791666666666665,
"grad_norm": 0.08342213183641434,
"learning_rate": 6.324204583535443e-10,
"loss": 0.0308,
"step": 858
},
{
"epoch": 2.982638888888889,
"grad_norm": 0.07757673412561417,
"learning_rate": 4.391865319808286e-10,
"loss": 0.0294,
"step": 859
},
{
"epoch": 2.986111111111111,
"grad_norm": 0.07195166498422623,
"learning_rate": 2.810823432949916e-10,
"loss": 0.0307,
"step": 860
},
{
"epoch": 2.9895833333333335,
"grad_norm": 0.07295399904251099,
"learning_rate": 1.5811011434996304e-10,
"loss": 0.031,
"step": 861
},
{
"epoch": 2.9930555555555554,
"grad_norm": 0.09042622894048691,
"learning_rate": 7.02715734424153e-11,
"loss": 0.0305,
"step": 862
},
{
"epoch": 2.9965277777777777,
"grad_norm": 0.0834117904305458,
"learning_rate": 1.7567955087338662e-11,
"loss": 0.0299,
"step": 863
},
{
"epoch": 3.0,
"grad_norm": 0.07452529668807983,
"learning_rate": 0.0,
"loss": 0.0297,
"step": 864
},
{
"epoch": 3.0,
"step": 864,
"total_flos": 6.502674177634337e+18,
"train_loss": 0.043296724473798856,
"train_runtime": 112235.927,
"train_samples_per_second": 3.941,
"train_steps_per_second": 0.008
}
],
"logging_steps": 1.0,
"max_steps": 864,
"num_input_tokens_seen": 0,
"num_train_epochs": 3,
"save_steps": 200,
"stateful_callbacks": {
"TrainerControl": {
"args": {
"should_epoch_stop": false,
"should_evaluate": false,
"should_log": false,
"should_save": true,
"should_training_stop": true
},
"attributes": {}
}
},
"total_flos": 6.502674177634337e+18,
"train_batch_size": 1,
"trial_name": null,
"trial_params": null
}