多 batch 推理结果不对齐
#81
by
shungouxu
- opened
当 batch > 1 的时候(若输入的 token 数目不一致), 其推理结果和 batch = 1的结果不对齐, 而且相差甚远。
请问是什么原因呢 ?
有具体例子吗
OK,不过模型输出本来也不是固定的吧。
已经关闭了 do_sample
当 batch > 1 的时候(若输入的 token 数目不一致), 其推理结果和 batch = 1的结果不对齐, 而且相差甚远。
请问是什么原因呢 ?
有具体例子吗
OK,不过模型输出本来也不是固定的吧。
已经关闭了 do_sample