| models: | |
| - model: google/gemma-2-2b | |
| - model: google/gemma-2-2b-it | |
| parameters: | |
| density: | |
| - filter: self_attn.q_proj.0 | |
| value: 0.00111 | |
| - filter: self_attn.q_proj.1 | |
| value: 0.04206 | |
| - filter: self_attn.q_proj.2 | |
| value: 0.00636 | |
| - filter: self_attn.q_proj.3 | |
| value: 0.01936 | |
| - filter: self_attn.q_proj.4 | |
| value: 0.05024 | |
| - filter: self_attn.q_proj.5 | |
| value: 0.03887 | |
| - filter: self_attn.q_proj.6 | |
| value: 0.00598 | |
| - filter: self_attn.q_proj.7 | |
| value: 0.01845 | |
| - filter: self_attn.q_proj.8 | |
| value: 0.02455 | |
| - filter: self_attn.q_proj.9 | |
| value: 0.03162 | |
| - filter: self_attn.q_proj.10 | |
| value: 0.01905 | |
| - filter: self_attn.q_proj.11 | |
| value: 0.05388 | |
| - filter: self_attn.q_proj.12 | |
| value: 0.04658 | |
| - filter: self_attn.q_proj.13 | |
| value: 0.04073 | |
| - filter: self_attn.q_proj.14 | |
| value: 0.07451 | |
| - filter: self_attn.q_proj.15 | |
| value: 0.00907 | |
| - filter: self_attn.q_proj.16 | |
| value: 0.04742 | |
| - filter: self_attn.q_proj.17 | |
| value: 0.05307 | |
| - filter: self_attn.q_proj.18 | |
| value: 0.06946 | |
| - filter: self_attn.q_proj.19 | |
| value: 0.07954 | |
| - filter: self_attn.q_proj.20 | |
| value: 0.0871 | |
| - filter: self_attn.q_proj.21 | |
| value: 0.08215 | |
| - filter: self_attn.q_proj.22 | |
| value: 0.04543 | |
| - filter: self_attn.q_proj.23 | |
| value: 0.01752 | |
| - filter: self_attn.q_proj.24 | |
| value: 0.01398 | |
| - filter: self_attn.q_proj.25 | |
| value: 0.02189 | |
| - filter: self_attn.k_proj.0 | |
| value: 0.00134 | |
| - filter: self_attn.k_proj.1 | |
| value: 0.02801 | |
| - filter: self_attn.k_proj.2 | |
| value: 0.00516 | |
| - filter: self_attn.k_proj.3 | |
| value: 0.01089 | |
| - filter: self_attn.k_proj.4 | |
| value: 0.0373 | |
| - filter: self_attn.k_proj.5 | |
| value: 0.02292 | |
| - filter: self_attn.k_proj.6 | |
| value: 0.01761 | |
| - filter: self_attn.k_proj.7 | |
| value: 0.03038 | |
| - filter: self_attn.k_proj.8 | |
| value: 0.01651 | |
| - filter: self_attn.k_proj.9 | |
| value: 0.01971 | |
| - filter: self_attn.k_proj.10 | |
| value: 0.01415 | |
| - filter: self_attn.k_proj.11 | |
| value: 0.05657 | |
| - filter: self_attn.k_proj.12 | |
| value: 0.04657 | |
| - filter: self_attn.k_proj.13 | |
| value: 0.03766 | |
| - filter: self_attn.k_proj.14 | |
| value: 0.06191 | |
| - filter: self_attn.k_proj.15 | |
| value: 0.03054 | |
| - filter: self_attn.k_proj.16 | |
| value: 0.07193 | |
| - filter: self_attn.k_proj.17 | |
| value: 0.05085 | |
| - filter: self_attn.k_proj.18 | |
| value: 0.08122 | |
| - filter: self_attn.k_proj.19 | |
| value: 0.09466 | |
| - filter: self_attn.k_proj.20 | |
| value: 0.09547 | |
| - filter: self_attn.k_proj.21 | |
| value: 0.07629 | |
| - filter: self_attn.k_proj.22 | |
| value: 0.04262 | |
| - filter: self_attn.k_proj.23 | |
| value: 0.0132 | |
| - filter: self_attn.k_proj.24 | |
| value: 0.00966 | |
| - filter: self_attn.k_proj.25 | |
| value: 0.0269 | |
| - filter: self_attn.v_proj.0 | |
| value: 0.00604 | |
| - filter: self_attn.v_proj.1 | |
| value: 0.02746 | |
| - filter: self_attn.v_proj.2 | |
| value: 0.00023 | |
| - filter: self_attn.v_proj.3 | |
| value: 0.01785 | |
| - filter: self_attn.v_proj.4 | |
| value: 0.04637 | |
| - filter: self_attn.v_proj.5 | |
| value: 0.0381 | |
| - filter: self_attn.v_proj.6 | |
| value: 0.01711 | |
| - filter: self_attn.v_proj.7 | |
| value: 0.00946 | |
| - filter: self_attn.v_proj.8 | |
| value: 0.04331 | |
| - filter: self_attn.v_proj.9 | |
| value: 0.03508 | |
| - filter: self_attn.v_proj.10 | |
| value: 0.02323 | |
| - filter: self_attn.v_proj.11 | |
| value: 0.05735 | |
| - filter: self_attn.v_proj.12 | |
| value: 0.03522 | |
| - filter: self_attn.v_proj.13 | |
| value: 0.03315 | |
| - filter: self_attn.v_proj.14 | |
| value: 0.08075 | |
| - filter: self_attn.v_proj.15 | |
| value: 0.00321 | |
| - filter: self_attn.v_proj.16 | |
| value: 0.03811 | |
| - filter: self_attn.v_proj.17 | |
| value: 0.05874 | |
| - filter: self_attn.v_proj.18 | |
| value: 0.0798 | |
| - filter: self_attn.v_proj.19 | |
| value: 0.06172 | |
| - filter: self_attn.v_proj.20 | |
| value: 0.08332 | |
| - filter: self_attn.v_proj.21 | |
| value: 0.06119 | |
| - filter: self_attn.v_proj.22 | |
| value: 0.05979 | |
| - filter: self_attn.v_proj.23 | |
| value: 0.04042 | |
| - filter: self_attn.v_proj.24 | |
| value: 0.01768 | |
| - filter: self_attn.v_proj.25 | |
| value: 0.02529 | |
| - filter: self_attn.o_proj.0 | |
| value: 0.00489 | |
| - filter: self_attn.o_proj.1 | |
| value: 0.02963 | |
| - filter: self_attn.o_proj.2 | |
| value: 0.01037 | |
| - filter: self_attn.o_proj.3 | |
| value: 0.0282 | |
| - filter: self_attn.o_proj.4 | |
| value: 0.01913 | |
| - filter: self_attn.o_proj.5 | |
| value: 0.02026 | |
| - filter: self_attn.o_proj.6 | |
| value: 0.00194 | |
| - filter: self_attn.o_proj.7 | |
| value: 0.01702 | |
| - filter: self_attn.o_proj.8 | |
| value: 0.01217 | |
| - filter: self_attn.o_proj.9 | |
| value: 0.12596 | |
| - filter: self_attn.o_proj.10 | |
| value: 0.07404 | |
| - filter: self_attn.o_proj.11 | |
| value: 0.06695 | |
| - filter: self_attn.o_proj.12 | |
| value: 0.11963 | |
| - filter: self_attn.o_proj.13 | |
| value: 0.08394 | |
| - filter: self_attn.o_proj.14 | |
| value: 0.08886 | |
| - filter: self_attn.o_proj.15 | |
| value: 0.01717 | |
| - filter: self_attn.o_proj.16 | |
| value: 0.10637 | |
| - filter: self_attn.o_proj.17 | |
| value: 0.05899 | |
| - filter: self_attn.o_proj.18 | |
| value: 0.01767 | |
| - filter: self_attn.o_proj.19 | |
| value: 0.01819 | |
| - filter: self_attn.o_proj.20 | |
| value: 0.00892 | |
| - filter: self_attn.o_proj.21 | |
| value: 0.02998 | |
| - filter: self_attn.o_proj.22 | |
| value: 0.01114 | |
| - filter: self_attn.o_proj.23 | |
| value: 0.01485 | |
| - filter: self_attn.o_proj.24 | |
| value: 0.00447 | |
| - filter: self_attn.o_proj.25 | |
| value: 0.00927 | |
| - filter: mlp.gate_proj.0 | |
| value: 0.09568 | |
| - filter: mlp.gate_proj.1 | |
| value: 0.01288 | |
| - filter: mlp.gate_proj.2 | |
| value: 0.00291 | |
| - filter: mlp.gate_proj.3 | |
| value: 0.02596 | |
| - filter: mlp.gate_proj.4 | |
| value: 0.10395 | |
| - filter: mlp.gate_proj.5 | |
| value: 0.0627 | |
| - filter: mlp.gate_proj.6 | |
| value: 0.02224 | |
| - filter: mlp.gate_proj.7 | |
| value: 0.04474 | |
| - filter: mlp.gate_proj.8 | |
| value: 0.04204 | |
| - filter: mlp.gate_proj.9 | |
| value: 0.03999 | |
| - filter: mlp.gate_proj.10 | |
| value: 0.0027 | |
| - filter: mlp.gate_proj.11 | |
| value: 0.04703 | |
| - filter: mlp.gate_proj.12 | |
| value: 0.0232 | |
| - filter: mlp.gate_proj.13 | |
| value: 0.00078 | |
| - filter: mlp.gate_proj.14 | |
| value: 0.00946 | |
| - filter: mlp.gate_proj.15 | |
| value: 0.01341 | |
| - filter: mlp.gate_proj.16 | |
| value: 0.00695 | |
| - filter: mlp.gate_proj.17 | |
| value: 0.02098 | |
| - filter: mlp.gate_proj.18 | |
| value: 0.03723 | |
| - filter: mlp.gate_proj.19 | |
| value: 0.05063 | |
| - filter: mlp.gate_proj.20 | |
| value: 0.07824 | |
| - filter: mlp.gate_proj.21 | |
| value: 0.06901 | |
| - filter: mlp.gate_proj.22 | |
| value: 0.04058 | |
| - filter: mlp.gate_proj.23 | |
| value: 0.02026 | |
| - filter: mlp.gate_proj.24 | |
| value: 0.07419 | |
| - filter: mlp.gate_proj.25 | |
| value: 0.05227 | |
| - filter: mlp.up_proj.0 | |
| value: 0.0405 | |
| - filter: mlp.up_proj.1 | |
| value: 0.01271 | |
| - filter: mlp.up_proj.2 | |
| value: 0.0355 | |
| - filter: mlp.up_proj.3 | |
| value: 0.04756 | |
| - filter: mlp.up_proj.4 | |
| value: 0.10248 | |
| - filter: mlp.up_proj.5 | |
| value: 0.07179 | |
| - filter: mlp.up_proj.6 | |
| value: 0.01996 | |
| - filter: mlp.up_proj.7 | |
| value: 0.00477 | |
| - filter: mlp.up_proj.8 | |
| value: 0.05971 | |
| - filter: mlp.up_proj.9 | |
| value: 0.03401 | |
| - filter: mlp.up_proj.10 | |
| value: 0.00776 | |
| - filter: mlp.up_proj.11 | |
| value: 0.0539 | |
| - filter: mlp.up_proj.12 | |
| value: 0.03164 | |
| - filter: mlp.up_proj.13 | |
| value: 0.0101 | |
| - filter: mlp.up_proj.14 | |
| value: 0.027 | |
| - filter: mlp.up_proj.15 | |
| value: 0.00638 | |
| - filter: mlp.up_proj.16 | |
| value: 0.02388 | |
| - filter: mlp.up_proj.17 | |
| value: 0.01701 | |
| - filter: mlp.up_proj.18 | |
| value: 0.05083 | |
| - filter: mlp.up_proj.19 | |
| value: 0.04951 | |
| - filter: mlp.up_proj.20 | |
| value: 0.06965 | |
| - filter: mlp.up_proj.21 | |
| value: 0.06283 | |
| - filter: mlp.up_proj.22 | |
| value: 0.03839 | |
| - filter: mlp.up_proj.23 | |
| value: 0.01068 | |
| - filter: mlp.up_proj.24 | |
| value: 0.0634 | |
| - filter: mlp.up_proj.25 | |
| value: 0.04805 | |
| - filter: mlp.down_proj.0 | |
| value: 0.04494 | |
| - filter: mlp.down_proj.1 | |
| value: 0.02927 | |
| - filter: mlp.down_proj.2 | |
| value: 0.05529 | |
| - filter: mlp.down_proj.3 | |
| value: 0.03749 | |
| - filter: mlp.down_proj.4 | |
| value: 0.02953 | |
| - filter: mlp.down_proj.5 | |
| value: 0.02668 | |
| - filter: mlp.down_proj.6 | |
| value: 0.00829 | |
| - filter: mlp.down_proj.7 | |
| value: 0.07776 | |
| - filter: mlp.down_proj.8 | |
| value: 0.06762 | |
| - filter: mlp.down_proj.9 | |
| value: 0.05744 | |
| - filter: mlp.down_proj.10 | |
| value: 0.01543 | |
| - filter: mlp.down_proj.11 | |
| value: 0.01538 | |
| - filter: mlp.down_proj.12 | |
| value: 0.02167 | |
| - filter: mlp.down_proj.13 | |
| value: 0.01876 | |
| - filter: mlp.down_proj.14 | |
| value: 0.01032 | |
| - filter: mlp.down_proj.15 | |
| value: 0.00995 | |
| - filter: mlp.down_proj.16 | |
| value: 0.05194 | |
| - filter: mlp.down_proj.17 | |
| value: 0.03503 | |
| - filter: mlp.down_proj.18 | |
| value: 0.07623 | |
| - filter: mlp.down_proj.19 | |
| value: 0.00976 | |
| - filter: mlp.down_proj.20 | |
| value: 0.01564 | |
| - filter: mlp.down_proj.21 | |
| value: 0.01396 | |
| - filter: mlp.down_proj.22 | |
| value: 0.03777 | |
| - filter: mlp.down_proj.23 | |
| value: 0.11013 | |
| - filter: mlp.down_proj.24 | |
| value: 0.1041 | |
| - filter: mlp.down_proj.25 | |
| value: 0.01961 | |
| - value: 1 | |
| weight: | |
| - value: 1 | |
| merge_method: ties | |
| base_model: google/gemma-2-2b | |
| parameters: | |
| normalize: true | |
| int8_mask: true | |
| dtype: bfloat16 | |
| tokenizer_source: union | |