0: pad_token_id 没有bos,用pad当bos 1: eos_token_id 2:
12: ▁ 干嘛的? 句首?
第二列是什么参数?分词器是什么模型?
<pad> 0 </s> 0 <unk> 0 , 0 ? 0 : 0 。 0 \n 0 \t 0 , -2.27694 的 -3.91357 、 -4.0507 ▁ -4.86599 和 -5.14921
ss