Changgil commited on
Commit
d946d79
1 Parent(s): 1ee1512

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -19,10 +19,10 @@ language:
19
  * 이 모델의 훈련 데이터에는 표준대국어사전, 고려대 KULLM의 훈련 데이터, 석박사학위 논문의 초록, 그리고 AI Hub의 한국어 데이터 샘플들이 포함됩니다.
20
 
21
  ### Training Method
22
- * This model was fine-tuned on the "meta-llama/Llama-2-13b-chat-hf" base model using PEFT (Parameter-Efficient Fine-Tuning) LoRA (Low-Rank Adaptation) techniques.
23
- * 이 모델은 "meta-llama/Llama-2-13b-chat-hf" 기반 모델을 PEFT LoRA를 사용하여 미세조정되었습니다.
24
 
25
- ### Hardware and Software
26
  * Hardware: Utilized two A100 (80G*2EA) GPUs for training.
27
  * Training Factors: This model was fine-tuned with SFT, using the HuggingFace SFTtrainer and applied fsdp. Key training adjustments include the addition of new Korean tokens trained with the SentencePieceBPETokenizer, trained for 2 epochs, batch size of 1, and gradient accumulation of 32.
28
  * 이 모델은 SFT를 사용하여 HuggingFace SFTtrainer와 fsdp를 적용하여 미세조정되었습니다. 주요 훈련 조정으로는 SentencePieceBPETokenizer로 훈련된 새로운 한글 토큰들을 추가, 2 에폭 훈련, 배치 크기 1, 그리고 그라디언트 누적 32를 포함합니다.
 
19
  * 이 모델의 훈련 데이터에는 표준대국어사전, 고려대 KULLM의 훈련 데이터, 석박사학위 논문의 초록, 그리고 AI Hub의 한국어 데이터 샘플들이 포함됩니다.
20
 
21
  ### Training Method
22
+ * This model was fine-tuned on the "meta-llama/Llama-2-13b-chat-hf" base model using a full parameter tuning method with SFT (Supervised Fine-Tuning).
23
+ * 이 모델은 "meta-llama/Llama-2-13b-chat-hf" 기반 모델을 SFT를 사용하여 전체 파라미터 조정 방법으로 미세조정되었습니다.
24
 
25
+ ### Hardware
26
  * Hardware: Utilized two A100 (80G*2EA) GPUs for training.
27
  * Training Factors: This model was fine-tuned with SFT, using the HuggingFace SFTtrainer and applied fsdp. Key training adjustments include the addition of new Korean tokens trained with the SentencePieceBPETokenizer, trained for 2 epochs, batch size of 1, and gradient accumulation of 32.
28
  * 이 모델은 SFT를 사용하여 HuggingFace SFTtrainer와 fsdp를 적용하여 미세조정되었습니다. 주요 훈련 조정으로는 SentencePieceBPETokenizer로 훈련된 새로운 한글 토큰들을 추가, 2 에폭 훈련, 배치 크기 1, 그리고 그라디언트 누적 32를 포함합니다.