能否提供Q6_K的量化文件？
#10
by
lingyezhixing
- opened
从我的使用经验来看，对于7B规模的模型，Q6_K一般能够较好的平衡性能损失和模型大小，Q4有些过低了，但Q8又有点大了
是的，希望能提供更多量化文件，照顾照顾显存小的用户吧 o(╥﹏╥)o 其实上传模型权重文件就好，各种量化大小会自己长出来的。
嗯嗯，只要有fp16的完整版或者原始权重，各种量化都会自己乖乖的长出来的(๑＞ڡ＜)☆
我稍后会上传Q6_K和Q5_K等量化版本