Spaces:
Running
Running
File size: 268 Bytes
751936e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
moss-moon-003-base 模型的 tokenizer 中，`eos token` 为 `<|endoftext|>`，在训练SFT模型时需要将该 token 指定为 `<eom>` token.
## SFT 阶段
- `<eoh>`: end of human
- `<eot>`: end of thoughts
- `<eoc>`: end of commands
- `<eom>`: end of moss
|