大模型Qlora微调的基准模型设定问题
#15
by
JackWuu
- opened
假如用Qlora进行Yi Chat大模型的微调，基于哪个大模型微调呢？比如是Yi-34B-Chat还是Yi-34B-Chat-4bits？有什么差别呢？
显卡假设单卡A100，谢谢！
Yi-34B-Chat和Yi-34B-Chat-4bits的区别是在于，Yi-34B-Chat-4bits做了量化（以一定的推理精度作为代价，来换取更快的速度）。如果是这两个比较的话，建议微调Yi-34B-Chat。不过更建议直接微调Yi-34B。
JackWuu
changed discussion status to
closed