多 batch 推理结果不对齐
#81
by
shungouxu
- opened
当 batch > 1 的时候（若输入的 token 数目不一致）， 其推理结果和 batch = 1的结果不对齐， 而且相差甚远。
请问是什么原因呢 ？
有具体例子吗
在模型 v1.1 （fp16）上测试的结果：
OK，不过模型输出本来也不是固定的吧。
已经关闭了 do_sample
当 batch > 1 的时候（若输入的 token 数目不一致）， 其推理结果和 batch = 1的结果不对齐， 而且相差甚远。
请问是什么原因呢 ？
有具体例子吗
在模型 v1.1 （fp16）上测试的结果：
OK，不过模型输出本来也不是固定的吧。
已经关闭了 do_sample