Saxo commited on
Commit
7b336c4
·
verified ·
1 Parent(s): b193300

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -27,7 +27,7 @@ pipeline_tag: text-generation
27
  </div>
28
 
29
 
30
- AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 이사가 Meta-Llama-3.1-8B-Instruct 베이스모델을 KT-CLOUD상의 H100-80G 4개를 통해 SFT->DPO 파인 튜닝을 한
31
  한글 언어 모델로 한국어-중국어-영어-일본어 교차 학습 데이터와 로지컬 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 한글 논리 문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
32
  특히 고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩등이 강화된 모델, 128k-Context Window, Tool Calling 지원
33
  Deepspeed Stage=3, rslora를 사용 <br>
 
27
  </div>
28
 
29
 
30
+ AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 박사가 Meta-Llama-3.1-8B-Instruct 베이스모델을 H100-80G 8개를 통해 SFT->DPO 파인 튜닝을 한
31
  한글 언어 모델로 한국어-중국어-영어-일본어 교차 학습 데이터와 로지컬 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 한글 논리 문제 역시 대응 가능하도록 훈련한 모델이며 토크나이저는 단어 확장 없이 베이스 모델 그대로 사용.
32
  특히 고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩등이 강화된 모델, 128k-Context Window, Tool Calling 지원
33
  Deepspeed Stage=3, rslora를 사용 <br>