maywell

/

Llama-3-Ko-8B-Instruct

like 30

llama recipe에는 sentencepiece 토크나이저 학습에 대한 것만 있어서 부탁 드립니다.
라마3 토크나이저 학습은 어떻게 하는 지 알려 줄 수 있나요?

아래 문서에 나온 대로 10G정도의 dataset을 가지고 했는데도, 토크나이저는 같습니다.
https://huggingface.co/learn/nlp-course/chapter6/2

고맙습니다.