Неплохо бы при квантовании использовать imatrix чтобы на всём что ниже Q6 модель не сильно деградировала (можно и для Q6 но вклад уже сильно меньше).
· Sign up or log in to comment
