| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 10.0, | |
| "eval_steps": 500, | |
| "global_step": 150, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 3.4085312483246724, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 1.4028, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 4.666705759671598, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 1.2916, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 3.871080407186316, | |
| "learning_rate": 1.2e-05, | |
| "loss": 1.3833, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 2.7124590679450193, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.9761, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 2.071960200602384, | |
| "learning_rate": 2e-05, | |
| "loss": 1.3587, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 1.648098466658743, | |
| "learning_rate": 1.999765298018484e-05, | |
| "loss": 0.8337, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 1.6253968845904598, | |
| "learning_rate": 1.999061302243977e-05, | |
| "loss": 1.0941, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 1.4301494839270958, | |
| "learning_rate": 1.9978883431348845e-05, | |
| "loss": 0.959, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 1.5578987331272605, | |
| "learning_rate": 1.9962469712828613e-05, | |
| "loss": 1.0682, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 1.4627247576612574, | |
| "learning_rate": 1.9941379571543597e-05, | |
| "loss": 1.1677, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 1.6114807558199653, | |
| "learning_rate": 1.9915622907289695e-05, | |
| "loss": 1.1538, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 1.2878501917792624, | |
| "learning_rate": 1.9885211810347185e-05, | |
| "loss": 1.1649, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 1.6334765738880663, | |
| "learning_rate": 1.9850160555805485e-05, | |
| "loss": 0.9951, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 1.628821939921328, | |
| "learning_rate": 1.981048559686239e-05, | |
| "loss": 0.9233, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 1.339302435711646, | |
| "learning_rate": 1.976620555710087e-05, | |
| "loss": 1.0353, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 1.1556672707686442, | |
| "learning_rate": 1.9717341221747056e-05, | |
| "loss": 0.9605, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 1.2387154465086059, | |
| "learning_rate": 1.9663915527913628e-05, | |
| "loss": 1.1088, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 1.1394015037618388, | |
| "learning_rate": 1.9605953553832987e-05, | |
| "loss": 1.1281, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 1.0626133768253427, | |
| "learning_rate": 1.9543482507085484e-05, | |
| "loss": 1.0368, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 1.391951038364559, | |
| "learning_rate": 1.9476531711828027e-05, | |
| "loss": 1.0803, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 1.2604998479257097, | |
| "learning_rate": 1.940513259502924e-05, | |
| "loss": 1.0545, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 1.3683100627781444, | |
| "learning_rate": 1.932931867171751e-05, | |
| "loss": 1.0207, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 1.0663814943522483, | |
| "learning_rate": 1.924912552924889e-05, | |
| "loss": 0.9533, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 1.064831041129997, | |
| "learning_rate": 1.9164590810602262e-05, | |
| "loss": 0.8148, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.9739867731832403, | |
| "learning_rate": 1.9075754196709574e-05, | |
| "loss": 0.9337, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 1.2675282274463724, | |
| "learning_rate": 1.8982657387829447e-05, | |
| "loss": 1.0805, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.9372218377939878, | |
| "learning_rate": 1.8885344083972912e-05, | |
| "loss": 1.0695, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 1.3431500053349323, | |
| "learning_rate": 1.8783859964390466e-05, | |
| "loss": 1.1591, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 1.1202612444362305, | |
| "learning_rate": 1.8678252666130016e-05, | |
| "loss": 0.968, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 1.2260350955015997, | |
| "learning_rate": 1.8568571761675893e-05, | |
| "loss": 0.9043, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 1.0478158856201552, | |
| "learning_rate": 1.845486873567932e-05, | |
| "loss": 1.1587, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 1.0874714452657954, | |
| "learning_rate": 1.8337196960791305e-05, | |
| "loss": 0.9252, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.9752649031044559, | |
| "learning_rate": 1.8215611672609316e-05, | |
| "loss": 1.0202, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 1.0434763245427732, | |
| "learning_rate": 1.8090169943749477e-05, | |
| "loss": 0.996, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 1.1379594366750487, | |
| "learning_rate": 1.796093065705644e-05, | |
| "loss": 0.9925, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 1.1948697336608844, | |
| "learning_rate": 1.782795447796356e-05, | |
| "loss": 1.2921, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 1.221446681124953, | |
| "learning_rate": 1.769130382601629e-05, | |
| "loss": 0.8618, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 1.0829408518691481, | |
| "learning_rate": 1.755104284557221e-05, | |
| "loss": 0.9958, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 1.1500016708742549, | |
| "learning_rate": 1.7407237375691394e-05, | |
| "loss": 0.9654, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 1.2766994471456066, | |
| "learning_rate": 1.725995491923131e-05, | |
| "loss": 1.0478, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 1.1725464918998885, | |
| "learning_rate": 1.710926461116071e-05, | |
| "loss": 0.8262, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 1.0893404581760975, | |
| "learning_rate": 1.6955237186107387e-05, | |
| "loss": 0.8965, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 0.9166278938019341, | |
| "learning_rate": 1.679794494515508e-05, | |
| "loss": 0.9818, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 1.0710933249027597, | |
| "learning_rate": 1.6637461721905047e-05, | |
| "loss": 0.952, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 1.1331761656207147, | |
| "learning_rate": 1.647386284781828e-05, | |
| "loss": 0.916, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 3.066666666666667, | |
| "grad_norm": 0.9564647379011718, | |
| "learning_rate": 1.6307225116854623e-05, | |
| "loss": 1.1324, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 3.1333333333333333, | |
| "grad_norm": 0.8318197021971842, | |
| "learning_rate": 1.6137626749425377e-05, | |
| "loss": 0.9577, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "grad_norm": 1.248321661047559, | |
| "learning_rate": 1.5965147355676344e-05, | |
| "loss": 0.9331, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 3.2666666666666666, | |
| "grad_norm": 1.1222614201620278, | |
| "learning_rate": 1.578986789811849e-05, | |
| "loss": 0.845, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 1.0274159778159633, | |
| "learning_rate": 1.5611870653623826e-05, | |
| "loss": 0.9643, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 3.4, | |
| "grad_norm": 1.2499948768241727, | |
| "learning_rate": 1.543123917480433e-05, | |
| "loss": 0.8808, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 3.466666666666667, | |
| "grad_norm": 1.0815573199440531, | |
| "learning_rate": 1.5248058250792008e-05, | |
| "loss": 0.8817, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 3.533333333333333, | |
| "grad_norm": 1.153929296287051, | |
| "learning_rate": 1.506241386743854e-05, | |
| "loss": 0.994, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 3.6, | |
| "grad_norm": 1.103492229784582, | |
| "learning_rate": 1.4874393166953194e-05, | |
| "loss": 0.8729, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 1.2133497016696713, | |
| "learning_rate": 1.4684084406997903e-05, | |
| "loss": 1.1275, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 3.7333333333333334, | |
| "grad_norm": 1.3609462560361256, | |
| "learning_rate": 1.4491576919258794e-05, | |
| "loss": 1.1054, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 3.8, | |
| "grad_norm": 0.9886233265547686, | |
| "learning_rate": 1.4296961067513519e-05, | |
| "loss": 0.9743, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 3.8666666666666667, | |
| "grad_norm": 1.1745326799492681, | |
| "learning_rate": 1.4100328205214161e-05, | |
| "loss": 0.8838, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 3.9333333333333336, | |
| "grad_norm": 1.3390216614348462, | |
| "learning_rate": 1.3901770632605546e-05, | |
| "loss": 1.0468, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 1.014063659841383, | |
| "learning_rate": 1.3701381553399147e-05, | |
| "loss": 1.0688, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 4.066666666666666, | |
| "grad_norm": 1.2635366819058482, | |
| "learning_rate": 1.3499255031022887e-05, | |
| "loss": 0.8666, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 4.133333333333334, | |
| "grad_norm": 1.3025248294074614, | |
| "learning_rate": 1.3295485944467405e-05, | |
| "loss": 0.9334, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 4.2, | |
| "grad_norm": 0.9545362380710669, | |
| "learning_rate": 1.3090169943749475e-05, | |
| "loss": 0.9013, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 4.266666666666667, | |
| "grad_norm": 1.0710628345049782, | |
| "learning_rate": 1.288340340501351e-05, | |
| "loss": 0.9823, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 1.133254418294951, | |
| "learning_rate": 1.2675283385292212e-05, | |
| "loss": 1.0442, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 4.4, | |
| "grad_norm": 1.10114922731124, | |
| "learning_rate": 1.2465907576947623e-05, | |
| "loss": 0.913, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 4.466666666666667, | |
| "grad_norm": 1.2375740608897428, | |
| "learning_rate": 1.2255374261813944e-05, | |
| "loss": 1.0133, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 4.533333333333333, | |
| "grad_norm": 0.9760429622715396, | |
| "learning_rate": 1.204378226506365e-05, | |
| "loss": 0.7568, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 4.6, | |
| "grad_norm": 1.489210275369955, | |
| "learning_rate": 1.1831230908818563e-05, | |
| "loss": 0.779, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 1.1933378195744682, | |
| "learning_rate": 1.161781996552765e-05, | |
| "loss": 1.2456, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 4.733333333333333, | |
| "grad_norm": 0.9862661993909408, | |
| "learning_rate": 1.1403649611133444e-05, | |
| "loss": 0.9868, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "grad_norm": 1.2076305842024768, | |
| "learning_rate": 1.1188820378049066e-05, | |
| "loss": 1.0797, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 4.866666666666667, | |
| "grad_norm": 1.2607815569078051, | |
| "learning_rate": 1.0973433107967901e-05, | |
| "loss": 0.9826, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 4.933333333333334, | |
| "grad_norm": 1.094147617295901, | |
| "learning_rate": 1.0757588904528106e-05, | |
| "loss": 0.8119, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 1.1121751761899872, | |
| "learning_rate": 1.0541389085854177e-05, | |
| "loss": 0.9773, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 5.066666666666666, | |
| "grad_norm": 1.0579179415785263, | |
| "learning_rate": 1.0324935136997807e-05, | |
| "loss": 0.9678, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 5.133333333333334, | |
| "grad_norm": 1.3395230330750847, | |
| "learning_rate": 1.0108328662300399e-05, | |
| "loss": 0.7061, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 5.2, | |
| "grad_norm": 1.1999310932391165, | |
| "learning_rate": 9.891671337699603e-06, | |
| "loss": 0.8735, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 5.266666666666667, | |
| "grad_norm": 1.010683429579378, | |
| "learning_rate": 9.675064863002196e-06, | |
| "loss": 0.8371, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 5.333333333333333, | |
| "grad_norm": 1.2108378582218189, | |
| "learning_rate": 9.458610914145826e-06, | |
| "loss": 1.181, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 5.4, | |
| "grad_norm": 1.18004488850976, | |
| "learning_rate": 9.242411095471897e-06, | |
| "loss": 1.0823, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 5.466666666666667, | |
| "grad_norm": 1.0454083723550043, | |
| "learning_rate": 9.026566892032104e-06, | |
| "loss": 0.9903, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 5.533333333333333, | |
| "grad_norm": 1.0667864315015048, | |
| "learning_rate": 8.811179621950937e-06, | |
| "loss": 0.8442, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 5.6, | |
| "grad_norm": 1.2020765015122372, | |
| "learning_rate": 8.596350388866557e-06, | |
| "loss": 0.8857, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 5.666666666666667, | |
| "grad_norm": 1.4131091155815, | |
| "learning_rate": 8.382180034472353e-06, | |
| "loss": 0.9864, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 5.733333333333333, | |
| "grad_norm": 1.486362030270159, | |
| "learning_rate": 8.168769091181439e-06, | |
| "loss": 0.9574, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 5.8, | |
| "grad_norm": 1.313551073594268, | |
| "learning_rate": 7.956217734936353e-06, | |
| "loss": 0.9289, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 5.866666666666667, | |
| "grad_norm": 1.3192481257399435, | |
| "learning_rate": 7.74462573818606e-06, | |
| "loss": 0.9545, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 5.933333333333334, | |
| "grad_norm": 1.2681138440264965, | |
| "learning_rate": 7.534092423052382e-06, | |
| "loss": 1.0747, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "grad_norm": 0.9582207978580328, | |
| "learning_rate": 7.324716614707794e-06, | |
| "loss": 0.8385, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 6.066666666666666, | |
| "grad_norm": 1.1698689314961477, | |
| "learning_rate": 7.1165965949864934e-06, | |
| "loss": 1.1033, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 6.133333333333334, | |
| "grad_norm": 1.3416716837210243, | |
| "learning_rate": 6.909830056250527e-06, | |
| "loss": 1.1822, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 6.2, | |
| "grad_norm": 1.0995942596498807, | |
| "learning_rate": 6.704514055532597e-06, | |
| "loss": 0.8676, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 6.266666666666667, | |
| "grad_norm": 1.4321467042913982, | |
| "learning_rate": 6.500744968977116e-06, | |
| "loss": 1.036, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 6.333333333333333, | |
| "grad_norm": 1.3088314218758716, | |
| "learning_rate": 6.298618446600856e-06, | |
| "loss": 0.8292, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 6.4, | |
| "grad_norm": 1.084823909937734, | |
| "learning_rate": 6.098229367394455e-06, | |
| "loss": 0.975, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 6.466666666666667, | |
| "grad_norm": 1.3218371701948628, | |
| "learning_rate": 5.8996717947858395e-06, | |
| "loss": 0.9402, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 6.533333333333333, | |
| "grad_norm": 1.1129487953662585, | |
| "learning_rate": 5.7030389324864845e-06, | |
| "loss": 0.8253, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 6.6, | |
| "grad_norm": 1.1419580401776912, | |
| "learning_rate": 5.5084230807412135e-06, | |
| "loss": 0.9734, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 1.0974795589959343, | |
| "learning_rate": 5.3159155930021e-06, | |
| "loss": 1.0441, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 6.733333333333333, | |
| "grad_norm": 1.324828991574355, | |
| "learning_rate": 5.12560683304681e-06, | |
| "loss": 0.8698, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 6.8, | |
| "grad_norm": 1.1620425079977543, | |
| "learning_rate": 4.93758613256146e-06, | |
| "loss": 0.916, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 6.866666666666667, | |
| "grad_norm": 1.298026477724516, | |
| "learning_rate": 4.751941749207996e-06, | |
| "loss": 0.8102, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 6.933333333333334, | |
| "grad_norm": 1.243701423436194, | |
| "learning_rate": 4.568760825195671e-06, | |
| "loss": 0.7848, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "grad_norm": 1.0511054186542836, | |
| "learning_rate": 4.388129346376177e-06, | |
| "loss": 0.8403, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 7.066666666666666, | |
| "grad_norm": 1.0830500750727494, | |
| "learning_rate": 4.210132101881516e-06, | |
| "loss": 1.0224, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 7.133333333333334, | |
| "grad_norm": 1.191885763343317, | |
| "learning_rate": 4.034852644323661e-06, | |
| "loss": 0.8888, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 7.2, | |
| "grad_norm": 1.3962415711635006, | |
| "learning_rate": 3.862373250574626e-06, | |
| "loss": 0.9008, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 7.266666666666667, | |
| "grad_norm": 1.1538336817545218, | |
| "learning_rate": 3.6927748831453835e-06, | |
| "loss": 0.7594, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 7.333333333333333, | |
| "grad_norm": 1.3153809280781052, | |
| "learning_rate": 3.5261371521817247e-06, | |
| "loss": 0.8526, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 7.4, | |
| "grad_norm": 1.3264279555663367, | |
| "learning_rate": 3.3625382780949576e-06, | |
| "loss": 0.9908, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 7.466666666666667, | |
| "grad_norm": 1.5096221335051931, | |
| "learning_rate": 3.2020550548449213e-06, | |
| "loss": 0.9226, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 7.533333333333333, | |
| "grad_norm": 1.2307393476716613, | |
| "learning_rate": 3.0447628138926153e-06, | |
| "loss": 1.0507, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 7.6, | |
| "grad_norm": 1.6151399665431556, | |
| "learning_rate": 2.8907353888392955e-06, | |
| "loss": 0.9208, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 7.666666666666667, | |
| "grad_norm": 1.2245799893438452, | |
| "learning_rate": 2.740045080768694e-06, | |
| "loss": 0.8878, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 7.733333333333333, | |
| "grad_norm": 1.3690463927412484, | |
| "learning_rate": 2.59276262430861e-06, | |
| "loss": 0.9999, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 7.8, | |
| "grad_norm": 1.0835082652598607, | |
| "learning_rate": 2.4489571544277944e-06, | |
| "loss": 0.8532, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 7.866666666666667, | |
| "grad_norm": 1.2346213474649816, | |
| "learning_rate": 2.308696173983711e-06, | |
| "loss": 0.8705, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 7.933333333333334, | |
| "grad_norm": 1.1723472737281382, | |
| "learning_rate": 2.1720455220364443e-06, | |
| "loss": 1.0879, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "grad_norm": 1.4073752757192692, | |
| "learning_rate": 2.0390693429435626e-06, | |
| "loss": 0.9452, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 8.066666666666666, | |
| "grad_norm": 1.50287195221356, | |
| "learning_rate": 1.9098300562505266e-06, | |
| "loss": 0.8373, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 8.133333333333333, | |
| "grad_norm": 1.1620276613706093, | |
| "learning_rate": 1.784388327390687e-06, | |
| "loss": 0.7806, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 8.2, | |
| "grad_norm": 1.3706625987581769, | |
| "learning_rate": 1.6628030392087001e-06, | |
| "loss": 0.9926, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 8.266666666666667, | |
| "grad_norm": 0.9859962643201381, | |
| "learning_rate": 1.5451312643206828e-06, | |
| "loss": 0.7548, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "grad_norm": 1.3785850516874856, | |
| "learning_rate": 1.4314282383241097e-06, | |
| "loss": 0.9119, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 8.4, | |
| "grad_norm": 1.3114820954248407, | |
| "learning_rate": 1.321747333869986e-06, | |
| "loss": 1.0087, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 8.466666666666667, | |
| "grad_norm": 1.4511492872823224, | |
| "learning_rate": 1.2161400356095376e-06, | |
| "loss": 0.9118, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 8.533333333333333, | |
| "grad_norm": 1.3077491727116757, | |
| "learning_rate": 1.1146559160270875e-06, | |
| "loss": 0.8493, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 8.6, | |
| "grad_norm": 1.2121934493369244, | |
| "learning_rate": 1.0173426121705577e-06, | |
| "loss": 0.8756, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 8.666666666666666, | |
| "grad_norm": 1.3513057171003726, | |
| "learning_rate": 9.242458032904311e-07, | |
| "loss": 0.8671, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 8.733333333333333, | |
| "grad_norm": 1.7742909013104993, | |
| "learning_rate": 8.354091893977401e-07, | |
| "loss": 1.0612, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 8.8, | |
| "grad_norm": 1.323453973832503, | |
| "learning_rate": 7.508744707511118e-07, | |
| "loss": 1.0907, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 8.866666666666667, | |
| "grad_norm": 1.5726657249632015, | |
| "learning_rate": 6.70681328282492e-07, | |
| "loss": 1.1042, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 8.933333333333334, | |
| "grad_norm": 1.6611333460302735, | |
| "learning_rate": 5.948674049707604e-07, | |
| "loss": 0.9262, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "grad_norm": 1.1742790020667146, | |
| "learning_rate": 5.234682881719766e-07, | |
| "loss": 0.9672, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 9.066666666666666, | |
| "grad_norm": 1.0761169784949698, | |
| "learning_rate": 4.5651749291451884e-07, | |
| "loss": 0.8506, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 9.133333333333333, | |
| "grad_norm": 1.3886579936980605, | |
| "learning_rate": 3.940464461670135e-07, | |
| "loss": 1.0981, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 9.2, | |
| "grad_norm": 1.3056666968807966, | |
| "learning_rate": 3.360844720863765e-07, | |
| "loss": 0.9153, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 9.266666666666667, | |
| "grad_norm": 0.9871679254938126, | |
| "learning_rate": 2.826587782529444e-07, | |
| "loss": 1.0896, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 9.333333333333334, | |
| "grad_norm": 1.2366625168342313, | |
| "learning_rate": 2.3379444289913344e-07, | |
| "loss": 1.0518, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 9.4, | |
| "grad_norm": 1.2975380970054535, | |
| "learning_rate": 1.8951440313760838e-07, | |
| "loss": 0.8743, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 9.466666666666667, | |
| "grad_norm": 1.1663276705416328, | |
| "learning_rate": 1.4983944419451613e-07, | |
| "loss": 0.8289, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 9.533333333333333, | |
| "grad_norm": 0.8248741509562691, | |
| "learning_rate": 1.1478818965281912e-07, | |
| "loss": 0.8659, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 9.6, | |
| "grad_norm": 1.1851143756826896, | |
| "learning_rate": 8.437709271030603e-08, | |
| "loss": 0.9649, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 9.666666666666666, | |
| "grad_norm": 1.507015449593647, | |
| "learning_rate": 5.862042845640403e-08, | |
| "loss": 1.0538, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 9.733333333333333, | |
| "grad_norm": 1.188730734080061, | |
| "learning_rate": 3.753028717138785e-08, | |
| "loss": 0.8341, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 9.8, | |
| "grad_norm": 1.2919573593809717, | |
| "learning_rate": 2.1116568651156076e-08, | |
| "loss": 0.7354, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 9.866666666666667, | |
| "grad_norm": 1.2064234964836027, | |
| "learning_rate": 9.38697756023288e-09, | |
| "loss": 0.775, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 9.933333333333334, | |
| "grad_norm": 1.454794110461292, | |
| "learning_rate": 2.347019815158724e-09, | |
| "loss": 1.0675, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 1.3030482316707324, | |
| "learning_rate": 0.0, | |
| "loss": 0.7781, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "step": 150, | |
| "total_flos": 3.203109984455885e+17, | |
| "train_loss": 0.0, | |
| "train_runtime": 25.7604, | |
| "train_samples_per_second": 136.644, | |
| "train_steps_per_second": 5.823 | |
| } | |
| ], | |
| "logging_steps": 1.0, | |
| "max_steps": 150, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 10, | |
| "save_steps": 69, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 3.203109984455885e+17, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |