Update fine-tuned model

adapter_config.json

@@ -20,12 +20,12 @@
   "rank_pattern": {},
   "revision": null,
   "target_modules": [
-    "up_proj",
-    "v_proj",
-    "k_proj",
     "o_proj",
-    "down_proj",
+    "k_proj",
     "q_proj",
+    "v_proj",
+    "down_proj",
+    "up_proj",
     "gate_proj"
   ],
   "task_type": " CAUSAL_LM",

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5071eefd11452403100752dcc8e9cf21826af65505b32f044995ac421709a382
+oid sha256:430a11259d17a49541e9f31c838ea163b82b162b916c4215762ffab0b4917a07
 size 159967880

optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1ceb9954b27df0a9c7b22a4b0dd40f1a6d9b2c5115174dc93ae5e730e35959d7
+oid sha256:2e45b6af16f366e2479a1fda5784a26168e5d866ba82ed55f4eb013e34c3ceee
 size 852876198

rng_state.pth

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:7b918787de9d3efe75e74ec5c4be660d11de629db20fd08362ba694defebb8f6
+oid sha256:b0654b1e5962e1d264ec17c40dcea6c3de9060e283aa95a5fea4d3b6d181505f
 size 14244

scheduler.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:babd43118aa66a4f5266d730539cf7f09611158b169d9e63dbcb83f6bbaa8626
+oid sha256:e69e2b49ea642509f0c688c16fb190b7cf27dac0a18903a5e2d1467d0343d8b8
 size 1064

trainer_state.json

@@ -3,539 +3,364 @@
   "best_model_checkpoint": null,
   "epoch": 5.0,
   "eval_steps": 500,
-  "global_step": 75,
+  "global_step": 50,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
-      "epoch": 0.06666666666666667,
-      "grad_norm": 1.0890171527862549,
-      "learning_rate": 5e-05,
-      "loss": 0.9504,
+      "epoch": 0.1,
+      "grad_norm": 0.886165976524353,
+      "learning_rate": 6.666666666666667e-05,
+      "loss": 0.8569,
       "step": 1
     },
     {
-      "epoch": 0.13333333333333333,
-      "grad_norm": 1.0416314601898193,
-      "learning_rate": 0.0001,
-      "loss": 0.9342,
+      "epoch": 0.2,
+      "grad_norm": 0.9352289438247681,
+      "learning_rate": 0.00013333333333333334,
+      "loss": 0.9157,
       "step": 2
     },
     {
-      "epoch": 0.2,
-      "grad_norm": 0.869629442691803,
-      "learning_rate": 0.00015000000000000001,
-      "loss": 0.881,
+      "epoch": 0.3,
+      "grad_norm": 0.6887379288673401,
+      "learning_rate": 0.0002,
+      "loss": 0.8368,
       "step": 3
     },
     {
-      "epoch": 0.26666666666666666,
-      "grad_norm": 0.5775812268257141,
-      "learning_rate": 0.0002,
-      "loss": 0.8136,
+      "epoch": 0.4,
+      "grad_norm": 0.5438244938850403,
+      "learning_rate": 0.00019977668786231534,
+      "loss": 0.7759,
       "step": 4
     },
     {
-      "epoch": 0.3333333333333333,
-      "grad_norm": 0.4219946563243866,
-      "learning_rate": 0.00019990212265199738,
-      "loss": 0.8022,
+      "epoch": 0.5,
+      "grad_norm": 0.4049173593521118,
+      "learning_rate": 0.000199107748815478,
+      "loss": 0.7108,
       "step": 5
     },
     {
-      "epoch": 0.4,
-      "grad_norm": 0.36623886227607727,
-      "learning_rate": 0.00019960868220749448,
-      "loss": 0.7536,
+      "epoch": 0.6,
+      "grad_norm": 0.3374454379081726,
+      "learning_rate": 0.0001979961705036587,
+      "loss": 0.6949,
       "step": 6
     },
     {
-      "epoch": 0.4666666666666667,
-      "grad_norm": 0.3498327434062958,
-      "learning_rate": 0.00019912025308994148,
-      "loss": 0.7613,
+      "epoch": 0.7,
+      "grad_norm": 0.31860846281051636,
+      "learning_rate": 0.00019644691750543767,
+      "loss": 0.6725,
       "step": 7
     },
     {
-      "epoch": 0.5333333333333333,
-      "grad_norm": 0.3222409784793854,
-      "learning_rate": 0.00019843779142227256,
-      "loss": 0.7335,
+      "epoch": 0.8,
+      "grad_norm": 0.3116016089916229,
+      "learning_rate": 0.0001944669091607919,
+      "loss": 0.6814,
       "step": 8
     },
     {
-      "epoch": 0.6,
-      "grad_norm": 0.30498430132865906,
-      "learning_rate": 0.0001975626331552507,
-      "loss": 0.7342,
+      "epoch": 0.9,
+      "grad_norm": 0.3020254969596863,
+      "learning_rate": 0.00019206498866764288,
+      "loss": 0.6628,
       "step": 9
     },
     {
-      "epoch": 0.6666666666666666,
-      "grad_norm": 0.2843049168586731,
-      "learning_rate": 0.00019649649145228102,
-      "loss": 0.7494,
+      "epoch": 1.0,
+      "grad_norm": 0.3751624524593353,
+      "learning_rate": 0.00018925188358598813,
+      "loss": 0.6491,
       "step": 10
     },
     {
-      "epoch": 0.7333333333333333,
-      "grad_norm": 0.28558269143104553,
-      "learning_rate": 0.00019524145333581317,
-      "loss": 0.7202,
+      "epoch": 1.1,
+      "grad_norm": 0.33873409032821655,
+      "learning_rate": 0.00018604015792601396,
+      "loss": 0.5887,
       "step": 11
     },
     {
-      "epoch": 0.8,
-      "grad_norm": 0.2747940719127655,
-      "learning_rate": 0.00019379997560189675,
-      "loss": 0.6978,
+      "epoch": 1.2,
+      "grad_norm": 0.3233942985534668,
+      "learning_rate": 0.00018244415603417603,
+      "loss": 0.5414,
       "step": 12
     },
     {
-      "epoch": 0.8666666666666667,
-      "grad_norm": 0.280610054731369,
-      "learning_rate": 0.00019217488001088784,
-      "loss": 0.712,
+      "epoch": 1.3,
+      "grad_norm": 0.33184298872947693,
+      "learning_rate": 0.0001784799385278661,
+      "loss": 0.5534,
       "step": 13
     },
     {
-      "epoch": 0.9333333333333333,
-      "grad_norm": 0.26551946997642517,
-      "learning_rate": 0.0001903693477637204,
-      "loss": 0.6815,
+      "epoch": 1.4,
+      "grad_norm": 0.3251623511314392,
+      "learning_rate": 0.00017416521056479577,
+      "loss": 0.5303,
       "step": 14
     },
     {
-      "epoch": 1.0,
-      "grad_norm": 0.26354852318763733,
-      "learning_rate": 0.0001883869132745561,
-      "loss": 0.6705,
+      "epoch": 1.5,
+      "grad_norm": 0.30667614936828613,
+      "learning_rate": 0.00016951924276746425,
+      "loss": 0.5261,
       "step": 15
     },
     {
-      "epoch": 1.0666666666666667,
-      "grad_norm": 0.2972894608974457,
-      "learning_rate": 0.00018623145725200278,
-      "loss": 0.6399,
+      "epoch": 1.6,
+      "grad_norm": 0.30262428522109985,
+      "learning_rate": 0.00016456278515588024,
+      "loss": 0.5101,
       "step": 16
     },
     {
-      "epoch": 1.1333333333333333,
-      "grad_norm": 0.2863878905773163,
-      "learning_rate": 0.00018390719910244487,
-      "loss": 0.6012,
+      "epoch": 1.7,
+      "grad_norm": 0.30721279978752136,
+      "learning_rate": 0.00015931797447293552,
+      "loss": 0.5059,
       "step": 17
     },
     {
-      "epoch": 1.2,
-      "grad_norm": 0.26009681820869446,
-      "learning_rate": 0.00018141868867035745,
-      "loss": 0.5994,
+      "epoch": 1.8,
+      "grad_norm": 0.2939946949481964,
+      "learning_rate": 0.00015380823531633729,
+      "loss": 0.4949,
       "step": 18
     },
     {
-      "epoch": 1.2666666666666666,
-      "grad_norm": 0.2787269651889801,
-      "learning_rate": 0.00017877079733177184,
-      "loss": 0.5932,
+      "epoch": 1.9,
+      "grad_norm": 0.28288447856903076,
+      "learning_rate": 0.00014805817551866838,
+      "loss": 0.4869,
       "step": 19
     },
     {
-      "epoch": 1.3333333333333333,
-      "grad_norm": 0.2598305642604828,
-      "learning_rate": 0.0001759687084583285,
-      "loss": 0.574,
+      "epoch": 2.0,
+      "grad_norm": 0.2906552255153656,
+      "learning_rate": 0.0001420934762428335,
+      "loss": 0.4605,
       "step": 20
     },
     {
-      "epoch": 1.4,
-      "grad_norm": 0.27728283405303955,
-      "learning_rate": 0.00017301790727058345,
-      "loss": 0.5735,
+      "epoch": 2.1,
+      "grad_norm": 0.2544306218624115,
+      "learning_rate": 0.00013594077728375128,
+      "loss": 0.4436,
       "step": 21
     },
     {
-      "epoch": 1.4666666666666668,
-      "grad_norm": 0.2823718786239624,
-      "learning_rate": 0.00016992417010043142,
-      "loss": 0.5756,
+      "epoch": 2.2,
+      "grad_norm": 0.2552658021450043,
+      "learning_rate": 0.00012962755808856342,
+      "loss": 0.4192,
       "step": 22
     },
     {
-      "epoch": 1.5333333333333332,
-      "grad_norm": 0.25957608222961426,
-      "learning_rate": 0.0001666935530836651,
-      "loss": 0.5275,
+      "epoch": 2.3,
+      "grad_norm": 0.2546628713607788,
+      "learning_rate": 0.00012318201502675285,
+      "loss": 0.4106,
       "step": 23
     },
     {
-      "epoch": 1.6,
-      "grad_norm": 0.24662478268146515,
-      "learning_rate": 0.0001633323803048047,
-      "loss": 0.5476,
+      "epoch": 2.4,
+      "grad_norm": 0.23741765320301056,
+      "learning_rate": 0.00011663293545831302,
+      "loss": 0.3938,
       "step": 24
     },
     {
-      "epoch": 1.6666666666666665,
-      "grad_norm": 0.23672237992286682,
-      "learning_rate": 0.00015984723141740576,
-      "loss": 0.514,
+      "epoch": 2.5,
+      "grad_norm": 0.2525660991668701,
+      "learning_rate": 0.00011000956916240985,
+      "loss": 0.4017,
       "step": 25
     },
     {
-      "epoch": 1.7333333333333334,
-      "grad_norm": 0.23386318981647491,
-      "learning_rate": 0.0001562449287640781,
-      "loss": 0.5029,
+      "epoch": 2.6,
+      "grad_norm": 0.2451285570859909,
+      "learning_rate": 0.00010334149770076747,
+      "loss": 0.3794,
       "step": 26
     },
     {
-      "epoch": 1.8,
-      "grad_norm": 0.2601586878299713,
-      "learning_rate": 0.00015253252402142988,
-      "loss": 0.5334,
+      "epoch": 2.7,
+      "grad_norm": 0.2524901032447815,
+      "learning_rate": 9.665850229923258e-05,
+      "loss": 0.3855,
       "step": 27
     },
     {
-      "epoch": 1.8666666666666667,
-      "grad_norm": 0.25172144174575806,
-      "learning_rate": 0.00014871728439607966,
-      "loss": 0.5153,
+      "epoch": 2.8,
+      "grad_norm": 0.24502427875995636,
+      "learning_rate": 8.999043083759017e-05,
+      "loss": 0.3616,
       "step": 28
     },
     {
-      "epoch": 1.9333333333333333,
-      "grad_norm": 0.24073539674282074,
-      "learning_rate": 0.00014480667839875786,
-      "loss": 0.5375,
+      "epoch": 2.9,
+      "grad_norm": 0.2539559602737427,
+      "learning_rate": 8.336706454168701e-05,
+      "loss": 0.3763,
       "step": 29
     },
     {
-      "epoch": 2.0,
-      "grad_norm": 0.24093535542488098,
-      "learning_rate": 0.0001408083612243465,
-      "loss": 0.5012,
+      "epoch": 3.0,
+      "grad_norm": 0.24636436998844147,
+      "learning_rate": 7.681798497324716e-05,
+      "loss": 0.3517,
       "step": 30
     },
     {
-      "epoch": 2.066666666666667,
-      "grad_norm": 0.2312004268169403,
-      "learning_rate": 0.00013673015976647568,
-      "loss": 0.4631,
+      "epoch": 3.1,
+      "grad_norm": 0.23345255851745605,
+      "learning_rate": 7.037244191143661e-05,
+      "loss": 0.3284,
       "step": 31
     },
     {
-      "epoch": 2.1333333333333333,
-      "grad_norm": 0.2351023256778717,
-      "learning_rate": 0.00013258005729601177,
-      "loss": 0.4647,
+      "epoch": 3.2,
+      "grad_norm": 0.2510325014591217,
+      "learning_rate": 6.405922271624874e-05,
+      "loss": 0.3301,
       "step": 32
     },
     {
-      "epoch": 2.2,
-      "grad_norm": 0.22365152835845947,
-      "learning_rate": 0.0001283661778334297,
-      "loss": 0.4219,
+      "epoch": 3.3,
+      "grad_norm": 0.24276795983314514,
+      "learning_rate": 5.790652375716652e-05,
+      "loss": 0.3339,
       "step": 33
     },
     {
-      "epoch": 2.2666666666666666,
-      "grad_norm": 0.2297082245349884,
-      "learning_rate": 0.00012409677024566144,
-      "loss": 0.4349,
+      "epoch": 3.4,
+      "grad_norm": 0.23698894679546356,
+      "learning_rate": 5.1941824481331626e-05,
+      "loss": 0.3273,
       "step": 34
     },
     {
-      "epoch": 2.3333333333333335,
-      "grad_norm": 0.23444686830043793,
-      "learning_rate": 0.00011978019209855174,
-      "loss": 0.4285,
+      "epoch": 3.5,
+      "grad_norm": 0.24454469978809357,
+      "learning_rate": 4.6191764683662744e-05,
+      "loss": 0.3073,
       "step": 35
     },
     {
-      "epoch": 2.4,
-      "grad_norm": 0.25463634729385376,
-      "learning_rate": 0.00011542489329653024,
-      "loss": 0.427,
+      "epoch": 3.6,
+      "grad_norm": 0.25007879734039307,
+      "learning_rate": 4.0682025527064486e-05,
+      "loss": 0.3149,
       "step": 36
     },
     {
-      "epoch": 2.466666666666667,
-      "grad_norm": 0.2404577136039734,
-      "learning_rate": 0.000111039399541527,
-      "loss": 0.4204,
+      "epoch": 3.7,
+      "grad_norm": 0.25587430596351624,
+      "learning_rate": 3.543721484411976e-05,
+      "loss": 0.3081,
       "step": 37
     },
     {
-      "epoch": 2.533333333333333,
-      "grad_norm": 0.27046656608581543,
-      "learning_rate": 0.00010663229564351041,
-      "loss": 0.4349,
+      "epoch": 3.8,
+      "grad_norm": 0.2517322599887848,
+      "learning_rate": 3.0480757232535772e-05,
+      "loss": 0.3131,
       "step": 38
     },
     {
-      "epoch": 2.6,
-      "grad_norm": 0.2494724541902542,
-      "learning_rate": 0.00010221220871531869,
-      "loss": 0.4269,
+      "epoch": 3.9,
+      "grad_norm": 0.23721425235271454,
+      "learning_rate": 2.5834789435204243e-05,
+      "loss": 0.2987,
       "step": 39
     },
     {
-      "epoch": 2.6666666666666665,
-      "grad_norm": 0.25197190046310425,
-      "learning_rate": 9.778779128468132e-05,
-      "loss": 0.4022,
+      "epoch": 4.0,
+      "grad_norm": 0.23976309597492218,
+      "learning_rate": 2.1520061472133902e-05,
+      "loss": 0.3148,
       "step": 40
     },
     {
-      "epoch": 2.7333333333333334,
-      "grad_norm": 0.2529221177101135,
-      "learning_rate": 9.336770435648964e-05,
-      "loss": 0.4256,
+      "epoch": 4.1,
+      "grad_norm": 0.22691340744495392,
+      "learning_rate": 1.7555843965823992e-05,
+      "loss": 0.2777,
       "step": 41
     },
     {
-      "epoch": 2.8,
-      "grad_norm": 0.26619741320610046,
-      "learning_rate": 8.896060045847304e-05,
-      "loss": 0.4239,
+      "epoch": 4.2,
+      "grad_norm": 0.23945631086826324,
+      "learning_rate": 1.3959842073986085e-05,
+      "loss": 0.2954,
       "step": 42
     },
     {
-      "epoch": 2.8666666666666667,
-      "grad_norm": 0.2642028033733368,
-      "learning_rate": 8.457510670346976e-05,
-      "loss": 0.414,
+      "epoch": 4.3,
+      "grad_norm": 0.23303616046905518,
+      "learning_rate": 1.0748116414011888e-05,
+      "loss": 0.2882,
       "step": 43
     },
     {
-      "epoch": 2.9333333333333336,
-      "grad_norm": 0.2735430598258972,
-      "learning_rate": 8.021980790144827e-05,
-      "loss": 0.3948,
+      "epoch": 4.4,
+      "grad_norm": 0.24104540050029755,
+      "learning_rate": 7.935011332357112e-06,
+      "loss": 0.2939,
       "step": 44
     },
     {
-      "epoch": 3.0,
-      "grad_norm": 0.26235178112983704,
-      "learning_rate": 7.590322975433857e-05,
-      "loss": 0.4013,
+      "epoch": 4.5,
+      "grad_norm": 0.23101571202278137,
+      "learning_rate": 5.533090839208133e-06,
+      "loss": 0.2789,
       "step": 45
     },
     {
-      "epoch": 3.066666666666667,
-      "grad_norm": 0.2630228102207184,
-      "learning_rate": 7.163382216657034e-05,
-      "loss": 0.3624,
+      "epoch": 4.6,
+      "grad_norm": 0.2310316413640976,
+      "learning_rate": 3.5530824945623542e-06,
+      "loss": 0.2925,
       "step": 46
     },
     {
-      "epoch": 3.1333333333333333,
-      "grad_norm": 0.2455410361289978,
-      "learning_rate": 6.741994270398826e-05,
-      "loss": 0.3559,
+      "epoch": 4.7,
+      "grad_norm": 0.23140206933021545,
+      "learning_rate": 2.003829496341325e-06,
+      "loss": 0.2824,
       "step": 47
     },
     {
-      "epoch": 3.2,
-      "grad_norm": 0.25239506363868713,
-      "learning_rate": 6.326984023352435e-05,
-      "loss": 0.3297,
+      "epoch": 4.8,
+      "grad_norm": 0.22320057451725006,
+      "learning_rate": 8.922511845219971e-07,
+      "loss": 0.2975,
       "step": 48
     },
     {
-      "epoch": 3.2666666666666666,
-      "grad_norm": 0.26092275977134705,
-      "learning_rate": 5.91916387756535e-05,
-      "loss": 0.3519,
+      "epoch": 4.9,
+      "grad_norm": 0.22732405364513397,
+      "learning_rate": 2.2331213768468363e-07,
+      "loss": 0.2891,
       "step": 49
     },
-    {
-      "epoch": 3.3333333333333335,
-      "grad_norm": 0.2558125853538513,
-      "learning_rate": 5.5193321601242156e-05,
-      "loss": 0.3467,
-      "step": 50
-    },
-    {
-      "epoch": 3.4,
-      "grad_norm": 0.2603452503681183,
-      "learning_rate": 5.1282715603920374e-05,
-      "loss": 0.3606,
-      "step": 51
-    },
-    {
-      "epoch": 3.466666666666667,
-      "grad_norm": 0.2685030996799469,
-      "learning_rate": 4.746747597857014e-05,
-      "loss": 0.3385,
-      "step": 52
-    },
-    {
-      "epoch": 3.533333333333333,
-      "grad_norm": 0.2547042965888977,
-      "learning_rate": 4.375507123592194e-05,
-      "loss": 0.3502,
-      "step": 53
-    },
-    {
-      "epoch": 3.6,
-      "grad_norm": 0.25863558053970337,
-      "learning_rate": 4.015276858259427e-05,
-      "loss": 0.3353,
-      "step": 54
-    },
-    {
-      "epoch": 3.6666666666666665,
-      "grad_norm": 0.25985899567604065,
-      "learning_rate": 3.6667619695195285e-05,
-      "loss": 0.3314,
-      "step": 55
-    },
-    {
-      "epoch": 3.7333333333333334,
-      "grad_norm": 0.2722785174846649,
-      "learning_rate": 3.330644691633492e-05,
-      "loss": 0.3224,
-      "step": 56
-    },
-    {
-      "epoch": 3.8,
-      "grad_norm": 0.2661519944667816,
-      "learning_rate": 3.0075829899568597e-05,
-      "loss": 0.3487,
-      "step": 57
-    },
-    {
-      "epoch": 3.8666666666666667,
-      "grad_norm": 0.2682656943798065,
-      "learning_rate": 2.6982092729416587e-05,
-      "loss": 0.3412,
-      "step": 58
-    },
-    {
-      "epoch": 3.9333333333333336,
-      "grad_norm": 0.2595905363559723,
-      "learning_rate": 2.403129154167153e-05,
-      "loss": 0.3242,
-      "step": 59
-    },
-    {
-      "epoch": 4.0,
-      "grad_norm": 0.2578358054161072,
-      "learning_rate": 2.1229202668228197e-05,
-      "loss": 0.306,
-      "step": 60
-    },
-    {
-      "epoch": 4.066666666666666,
-      "grad_norm": 0.2525722086429596,
-      "learning_rate": 1.858131132964259e-05,
-      "loss": 0.3234,
-      "step": 61
-    },
-    {
-      "epoch": 4.133333333333334,
-      "grad_norm": 0.2557724118232727,
-      "learning_rate": 1.609280089755515e-05,
-      "loss": 0.2945,
-      "step": 62
-    },
-    {
-      "epoch": 4.2,
-      "grad_norm": 0.2506673038005829,
-      "learning_rate": 1.3768542747997215e-05,
-      "loss": 0.3157,
-      "step": 63
-    },
-    {
-      "epoch": 4.266666666666667,
-      "grad_norm": 0.25794729590415955,
-      "learning_rate": 1.161308672544389e-05,
-      "loss": 0.3085,
-      "step": 64
-    },
-    {
-      "epoch": 4.333333333333333,
-      "grad_norm": 0.2558946907520294,
-      "learning_rate": 9.630652236279625e-06,
-      "loss": 0.3096,
-      "step": 65
-    },
-    {
-      "epoch": 4.4,
-      "grad_norm": 0.25984814763069153,
-      "learning_rate": 7.825119989112173e-06,
-      "loss": 0.311,
-      "step": 66
-    },
-    {
-      "epoch": 4.466666666666667,
-      "grad_norm": 0.24387367069721222,
-      "learning_rate": 6.200024398103255e-06,
-      "loss": 0.3083,
-      "step": 67
-    },
-    {
-      "epoch": 4.533333333333333,
-      "grad_norm": 0.24648573994636536,
-      "learning_rate": 4.758546664186869e-06,
-      "loss": 0.2929,
-      "step": 68
-    },
-    {
-      "epoch": 4.6,
-      "grad_norm": 0.24927794933319092,
-      "learning_rate": 3.5035085477190143e-06,
-      "loss": 0.312,
-      "step": 69
-    },
-    {
-      "epoch": 4.666666666666667,
-      "grad_norm": 0.25699713826179504,
-      "learning_rate": 2.4373668447493224e-06,
-      "loss": 0.3157,
-      "step": 70
-    },
-    {
-      "epoch": 4.733333333333333,
-      "grad_norm": 0.25668400526046753,
-      "learning_rate": 1.562208577727442e-06,
-      "loss": 0.297,
-      "step": 71
-    },
-    {
-      "epoch": 4.8,
-      "grad_norm": 0.25037774443626404,
-      "learning_rate": 8.797469100585431e-07,
-      "loss": 0.2887,
-      "step": 72
-    },
-    {
-      "epoch": 4.866666666666667,
-      "grad_norm": 0.24792499840259552,
-      "learning_rate": 3.913177925055189e-07,
-      "loss": 0.3156,
-      "step": 73
-    },
-    {
-      "epoch": 4.933333333333334,
-      "grad_norm": 0.2463802695274353,
-      "learning_rate": 9.78773480026396e-08,
-      "loss": 0.2867,
-      "step": 74
-    },
     {
       "epoch": 5.0,
-      "grad_norm": 0.24436143040657043,
+      "grad_norm": 0.2486155927181244,
       "learning_rate": 0.0,
-      "loss": 0.293,
-      "step": 75
+      "loss": 0.2815,
+      "step": 50
     }
   ],
   "logging_steps": 1,
-  "max_steps": 75,
+  "max_steps": 50,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
@@ -551,7 +376,7 @@
       "attributes": {}
     }
   },
-  "total_flos": 1.1357004270610022e+17,
+  "total_flos": 7.457968683122688e+16,
   "train_batch_size": 1,
   "trial_name": null,
   "trial_params": null

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:133ef49c1d5ba133c05e9ffbacea52565e6b8a05c8e8bf2790825a5b10a34915
+oid sha256:379e9b75008263e92f24f632d566b21e4ea482a4e680b4f98fef9cb95afe9d88
 size 5240