function call时有办法跳过think吗?
#36
by
zhaocc1106
- opened
function call think内容比较多,可以跳过think吗?测试了下在prompt最后追加一个</think>
对于普通对话可以跳过think,但是对于function call还是会输出think,并多生成一个</think>
token,这是正常的吗?
没有好办法
跳过think就没有用QwQ的意义了吧?我觉得模型输出只采纳think后面的部分是不是就可以?memory里也不要记录think,不确定agent的框架是不是考虑了这个问题,又或者可以自己魔改下(我觉得自己改也并不复杂,因为底层其实本来就连input一起返回的,你只是调整了下截取的逻辑而已)