collapse_gemma-2-2b_hs2_accumulate_iter13_sftsd1

This model is a fine-tuned version of google/gemma-2-2b on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 1.0988
• Num Input Tokens Seen: 66474032

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 8e-06
• train_batch_size: 8
• eval_batch_size: 16
• seed: 1
• gradient_accumulation_steps: 16
• total_train_batch_size: 128
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_warmup_ratio: 0.05
• num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
No log	0	0	1.3909	0
1.6496	0.0040	5	1.3888	269088
1.593	0.0080	10	1.3738	532768
1.6319	0.0121	15	1.3415	797616
1.4412	0.0161	20	1.2878	1059528
1.4212	0.0201	25	1.2452	1330056
1.3105	0.0241	30	1.2106	1595496
1.2004	0.0281	35	1.1870	1856096
1.122	0.0321	40	1.1980	2128096
0.9857	0.0362	45	1.2116	2397312
0.8123	0.0402	50	1.2458	2660648
0.6974	0.0442	55	1.2866	2923440
0.5779	0.0482	60	1.2544	3190904
0.6053	0.0522	65	1.2958	3466056
0.377	0.0562	70	1.2836	3738872
0.437	0.0603	75	1.2394	4008880
0.2844	0.0643	80	1.2326	4270216
0.2743	0.0683	85	1.2176	4534544
0.2454	0.0723	90	1.2031	4797656
0.3017	0.0763	95	1.2110	5064904
0.2919	0.0804	100	1.1901	5325960
0.2755	0.0844	105	1.1899	5588816
0.2508	0.0884	110	1.1932	5859792
0.2048	0.0924	115	1.1895	6124448
0.1805	0.0964	120	1.1991	6394440
0.2482	0.1004	125	1.1865	6660424
0.2114	0.1045	130	1.1828	6925280
0.2454	0.1085	135	1.1801	7192496
0.2305	0.1125	140	1.1733	7456696
0.1829	0.1165	145	1.1778	7723888
0.2417	0.1205	150	1.1796	7998624
0.1485	0.1245	155	1.1714	8271672
0.1433	0.1286	160	1.1770	8546408
0.2375	0.1326	165	1.1716	8816744
0.1699	0.1366	170	1.1698	9086496
0.1136	0.1406	175	1.1651	9346888
0.1336	0.1446	180	1.1702	9619312
0.1598	0.1487	185	1.1609	9885952
0.0921	0.1527	190	1.1622	10153872
0.2749	0.1567	195	1.1658	10421200
0.2119	0.1607	200	1.1574	10694680
0.2545	0.1647	205	1.1574	10966232
0.242	0.1687	210	1.1530	11232608
0.1785	0.1728	215	1.1555	11495504
0.2243	0.1768	220	1.1555	11761088
0.257	0.1808	225	1.1501	12034208
0.1593	0.1848	230	1.1525	12297864
0.2022	0.1888	235	1.1533	12565760
0.2072	0.1928	240	1.1519	12833240
0.1091	0.1969	245	1.1511	13102024
0.0845	0.2009	250	1.1520	13362240
0.2093	0.2049	255	1.1502	13625696
0.1741	0.2089	260	1.1467	13890168
0.1188	0.2129	265	1.1540	14154448
0.3031	0.2170	270	1.1497	14419648
0.1891	0.2210	275	1.1464	14674784
0.2016	0.2250	280	1.1447	14949488
0.1007	0.2290	285	1.1460	15214800
0.1779	0.2330	290	1.1475	15483240
0.195	0.2370	295	1.1398	15751536
0.2069	0.2411	300	1.1429	16014584
0.1597	0.2451	305	1.1420	16277072
0.111	0.2491	310	1.1397	16540864
0.107	0.2531	315	1.1423	16804568
0.1212	0.2571	320	1.1387	17077128
0.1412	0.2611	325	1.1382	17348320
0.1192	0.2652	330	1.1419	17612576
0.1879	0.2692	335	1.1388	17876784
0.1433	0.2732	340	1.1362	18142544
0.1748	0.2772	345	1.1411	18415672
0.1677	0.2812	350	1.1373	18683536
0.1358	0.2853	355	1.1346	18952888
0.1712	0.2893	360	1.1369	19218360
0.1619	0.2933	365	1.1386	19483840
0.1071	0.2973	370	1.1347	19756976
0.2192	0.3013	375	1.1322	20022776
0.1235	0.3053	380	1.1334	20289712
0.2287	0.3094	385	1.1345	20559104
0.1922	0.3134	390	1.1295	20823864
0.1379	0.3174	395	1.1306	21082544
0.109	0.3214	400	1.1325	21356280
0.1387	0.3254	405	1.1298	21630688
0.1094	0.3294	410	1.1290	21895440
0.1573	0.3335	415	1.1295	22163328
0.1252	0.3375	420	1.1275	22422360
0.1323	0.3415	425	1.1309	22693992
0.1553	0.3455	430	1.1275	22960416
0.0841	0.3495	435	1.1282	23224648
0.1479	0.3536	440	1.1303	23485960
0.1776	0.3576	445	1.1319	23757080
0.1108	0.3616	450	1.1295	24019992
0.1577	0.3656	455	1.1281	24283712
0.1419	0.3696	460	1.1281	24555736
0.1669	0.3736	465	1.1274	24819064
0.175	0.3777	470	1.1248	25091464
0.1287	0.3817	475	1.1257	25360944
0.1303	0.3857	480	1.1300	25627840
0.2149	0.3897	485	1.1238	25895920
0.1754	0.3937	490	1.1214	26159488
0.1381	0.3978	495	1.1240	26425400
0.1971	0.4018	500	1.1243	26695288
0.1112	0.4058	505	1.1231	26958128
0.1507	0.4098	510	1.1190	27224768
0.2245	0.4138	515	1.1196	27490376
0.1332	0.4178	520	1.1214	27759472
0.2522	0.4219	525	1.1237	28021432
0.1485	0.4259	530	1.1195	28293960
0.1108	0.4299	535	1.1196	28565520
0.1354	0.4339	540	1.1205	28830248
0.188	0.4379	545	1.1186	29098632
0.1505	0.4419	550	1.1169	29366008
0.2583	0.4460	555	1.1186	29631632
0.1734	0.4500	560	1.1181	29892432
0.1396	0.4540	565	1.1191	30155064
0.147	0.4580	570	1.1185	30425328
0.1781	0.4620	575	1.1157	30687912
0.087	0.4661	580	1.1194	30955536
0.1667	0.4701	585	1.1211	31223528
0.2041	0.4741	590	1.1164	31486616
0.1368	0.4781	595	1.1163	31756680
0.1193	0.4821	600	1.1166	32029360
0.1863	0.4861	605	1.1142	32300840
0.1692	0.4902	610	1.1145	32559992
0.1551	0.4942	615	1.1158	32820160
0.1233	0.4982	620	1.1139	33090856
0.2353	0.5022	625	1.1132	33356216
0.0917	0.5062	630	1.1161	33627544
0.1523	0.5102	635	1.1159	33898952
0.1818	0.5143	640	1.1135	34166040
0.0914	0.5183	645	1.1139	34432080
0.1609	0.5223	650	1.1142	34695128
0.1164	0.5263	655	1.1137	34960016
0.1476	0.5303	660	1.1127	35227024
0.1514	0.5344	665	1.1138	35502752
0.1921	0.5384	670	1.1135	35777480
0.1547	0.5424	675	1.1111	36051128
0.1647	0.5464	680	1.1128	36324632
0.1431	0.5504	685	1.1132	36599048
0.1537	0.5544	690	1.1113	36868312
0.1508	0.5585	695	1.1119	37137304
0.1446	0.5625	700	1.1121	37400984
0.1871	0.5665	705	1.1104	37670160
0.1148	0.5705	710	1.1093	37937456
0.1809	0.5745	715	1.1107	38213656
0.1562	0.5785	720	1.1134	38481208
0.1856	0.5826	725	1.1124	38748528
0.2117	0.5866	730	1.1110	39014688
0.1334	0.5906	735	1.1086	39285112
0.1282	0.5946	740	1.1083	39558336
0.1079	0.5986	745	1.1078	39816608
0.2084	0.6027	750	1.1080	40081864
0.1388	0.6067	755	1.1099	40349832
0.1496	0.6107	760	1.1095	40617056
0.123	0.6147	765	1.1066	40887032
0.0792	0.6187	770	1.1065	41148104
0.1639	0.6227	775	1.1086	41423424
0.2501	0.6268	780	1.1078	41700288
0.115	0.6308	785	1.1090	41971832
0.1738	0.6348	790	1.1083	42239944
0.1595	0.6388	795	1.1061	42497488
0.1121	0.6428	800	1.1059	42763824
0.1503	0.6468	805	1.1075	43033424
0.0887	0.6509	810	1.1048	43299520
0.1208	0.6549	815	1.1063	43567272
0.1165	0.6589	820	1.1090	43830216
0.136	0.6629	825	1.1080	44101312
0.1441	0.6669	830	1.1059	44372208
0.1372	0.6710	835	1.1074	44629960
0.0905	0.6750	840	1.1078	44894304
0.17	0.6790	845	1.1058	45163432
0.1861	0.6830	850	1.1047	45430264
0.1535	0.6870	855	1.1053	45705032
0.2079	0.6910	860	1.1057	45973272
0.1795	0.6951	865	1.1057	46238200
0.1819	0.6991	870	1.1061	46508080
0.1625	0.7031	875	1.1057	46775056
0.157	0.7071	880	1.1041	47045584
0.1586	0.7111	885	1.1041	47315400
0.1219	0.7151	890	1.1043	47581088
0.1534	0.7192	895	1.1045	47844512
0.1423	0.7232	900	1.1032	48114328
0.1358	0.7272	905	1.1040	48380520
0.127	0.7312	910	1.1042	48649872
0.1462	0.7352	915	1.1043	48920232
0.154	0.7393	920	1.1035	49186984
0.1847	0.7433	925	1.1041	49454928
0.1678	0.7473	930	1.1053	49722280
0.1658	0.7513	935	1.1050	49988024
0.1301	0.7553	940	1.1053	50255760
0.1239	0.7593	945	1.1044	50530080
0.1458	0.7634	950	1.1037	50792368
0.152	0.7674	955	1.1041	51052328
0.1736	0.7714	960	1.1041	51318808
0.1981	0.7754	965	1.1030	51586904
0.1032	0.7794	970	1.1021	51861168
0.1126	0.7834	975	1.1050	52129208
0.2006	0.7875	980	1.1045	52395312
0.2615	0.7915	985	1.1011	52661168
0.1574	0.7955	990	1.1013	52923160
0.183	0.7995	995	1.1067	53179296
0.1247	0.8035	1000	1.1045	53445496
0.136	0.8076	1005	1.1013	53714992
0.2123	0.8116	1010	1.1015	53973440
0.1449	0.8156	1015	1.1025	54238472
0.2289	0.8196	1020	1.1019	54508944
0.1454	0.8236	1025	1.1013	54782640
0.1422	0.8276	1030	1.1022	55052512
0.1588	0.8317	1035	1.1022	55320536
0.1174	0.8357	1040	1.1024	55587976
0.1778	0.8397	1045	1.1006	55850544
0.2064	0.8437	1050	1.1019	56111488
0.1348	0.8477	1055	1.1043	56379936
0.1454	0.8517	1060	1.1027	56633752
0.0895	0.8558	1065	1.0997	56900624
0.1199	0.8598	1070	1.1008	57165704
0.1866	0.8638	1075	1.1013	57431640
0.1512	0.8678	1080	1.1002	57697040
0.1935	0.8718	1085	1.1003	57971200
0.1479	0.8759	1090	1.1003	58235216
0.1603	0.8799	1095	1.1010	58505320
0.1545	0.8839	1100	1.1004	58781952
0.1349	0.8879	1105	1.0978	59054312
0.1038	0.8919	1110	1.0981	59316192
0.2127	0.8959	1115	1.0985	59576760
0.2207	0.9000	1120	1.0978	59841800
0.1447	0.9040	1125	1.0980	60108152
0.1445	0.9080	1130	1.0986	60381688
0.123	0.9120	1135	1.0985	60644416
0.1337	0.9160	1140	1.0972	60914960
0.1519	0.9200	1145	1.0964	61189320
0.1618	0.9241	1150	1.0997	61451944
0.1586	0.9281	1155	1.1000	61715960
0.1538	0.9321	1160	1.0981	61986840
0.0929	0.9361	1165	1.0972	62255312
0.1543	0.9401	1170	1.0973	62523592
0.1406	0.9442	1175	1.0976	62795320
0.1527	0.9482	1180	1.0970	63061184
0.1556	0.9522	1185	1.0975	63326856
0.2417	0.9562	1190	1.0983	63598528
0.1064	0.9602	1195	1.1001	63861592
0.1908	0.9642	1200	1.0971	64129760
0.1303	0.9683	1205	1.0958	64399112
0.1397	0.9723	1210	1.0972	64666312
0.1802	0.9763	1215	1.0971	64938056
0.1478	0.9803	1220	1.0970	65198400
0.1511	0.9843	1225	1.0966	65460480
0.1352	0.9883	1230	1.0973	65730520
0.1681	0.9924	1235	1.0983	65993712
0.1158	0.9964	1240	1.0982	66264848

Framework versions

• Transformers 4.44.0
• Pytorch 2.4.0+cu121
• Datasets 2.20.0
• Tokenizers 0.19.1