gte-Qwen2-1.5B-instruct模型半精度推理时，模型输出结果NAN
#13
by
Erin
- opened
您好，在使用gte-Qwen2-1.5B-instruct模型时，发现两个问题，
1）半精度推理时，outputs = model(**batch_dict),这个步骤输出结果中存在NAN，不用半精度推理，模型输出结果正常，同一个环境中使用7b的半精度没有问题，不知道什么原因呢？
2）采用eval_mteb.py评估时，只做中文数据评估，评估的结果比官方提供的测评结果低一些，我这边测试的结果是64.24，不太清楚哪边可能会出问题？
请问为NAN这个问题解决了吗？
NaN这个问题不知道是不是和torch版本有关，在torch 2.1.0上出现NAN问题，torch 2.1.2测试没问题
请问为NAN这个问题解决了吗？