Update README.md
Browse files
README.md
CHANGED
@@ -19,10 +19,10 @@ language:
|
|
19 |
* 이 모델의 훈련 데이터에는 표준대국어사전, 고려대 KULLM의 훈련 데이터, 석박사학위 논문의 초록, 그리고 AI Hub의 한국어 데이터 샘플들이 포함됩니다.
|
20 |
|
21 |
### Training Method
|
22 |
-
* This model was fine-tuned on the "meta-llama/Llama-2-13b-chat-hf" base model using
|
23 |
-
* 이 모델은 "meta-llama/Llama-2-13b-chat-hf" 기반 모델을
|
24 |
|
25 |
-
### Hardware
|
26 |
* Hardware: Utilized two A100 (80G*2EA) GPUs for training.
|
27 |
* Training Factors: This model was fine-tuned with SFT, using the HuggingFace SFTtrainer and applied fsdp. Key training adjustments include the addition of new Korean tokens trained with the SentencePieceBPETokenizer, trained for 2 epochs, batch size of 1, and gradient accumulation of 32.
|
28 |
* 이 모델은 SFT를 사용하여 HuggingFace SFTtrainer와 fsdp를 적용하여 미세조정되었습니다. 주요 훈련 조정으로는 SentencePieceBPETokenizer로 훈련된 새로운 한글 토큰들을 추가, 2 에폭 훈련, 배치 크기 1, 그리고 그라디언트 누적 32를 포함합니다.
|
|
|
19 |
* 이 모델의 훈련 데이터에는 표준대국어사전, 고려대 KULLM의 훈련 데이터, 석박사학위 논문의 초록, 그리고 AI Hub의 한국어 데이터 샘플들이 포함됩니다.
|
20 |
|
21 |
### Training Method
|
22 |
+
* This model was fine-tuned on the "meta-llama/Llama-2-13b-chat-hf" base model using a full parameter tuning method with SFT (Supervised Fine-Tuning).
|
23 |
+
* 이 모델은 "meta-llama/Llama-2-13b-chat-hf" 기반 모델을 SFT를 사용하여 전체 파라미터 조정 방법으로 미세조정되었습니다.
|
24 |
|
25 |
+
### Hardware
|
26 |
* Hardware: Utilized two A100 (80G*2EA) GPUs for training.
|
27 |
* Training Factors: This model was fine-tuned with SFT, using the HuggingFace SFTtrainer and applied fsdp. Key training adjustments include the addition of new Korean tokens trained with the SentencePieceBPETokenizer, trained for 2 epochs, batch size of 1, and gradient accumulation of 32.
|
28 |
* 이 모델은 SFT를 사용하여 HuggingFace SFTtrainer와 fsdp를 적용하여 미세조정되었습니다. 주요 훈련 조정으로는 SentencePieceBPETokenizer로 훈련된 새로운 한글 토큰들을 추가, 2 에폭 훈련, 배치 크기 1, 그리고 그라디언트 누적 32를 포함합니다.
|