Model Card for Model ID

AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 박사가
Mistral-Small-Instruct-2409 베이스모델을 사용해서 H100-80G 8개를 통해 약 45%정도의 파라미터를 한국어 CPT(Continued-Pretraining)->SFT->DPO 한 한글 언어 모델
9천만건의 한글 뉴스 코퍼스를 기준으로 다양한 테스크별 한국어-중국어-영어-일본어 교차 학습 데이터와 수학 및 논리판단 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 논리 문제 역시 대응 가능하도록 훈련한 모델이다.
-토크나이저는 단어 확장 없이 베이스 모델 그대로 사용
-고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩과 작문, 수학, 논리판단 등이 강화된 모델
-32k 시퀀스 길이
-펑션콜 지원
-Deepspeed Stage=3, rslora 및 BAdam Layer Mode 사용


Finetuned by Mr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics
about 45% of total parameters Korean CPT(Continued-Pretraining)->SFT->DPO training model based on Mistral-Small-Instruct-2409 through 8 H100-80Gs as a Korean language model
It is a model that has been trained to handle Korean-Chinese-English-Japanese cross-training data and 90M korean news corpus and logic judgment data for various tasks to enable cross-fertilization processing and complex Korean logic & math problems.
-Tokenizer uses the base model without word expansion
-Models enhanced with high-dimensional analysis of customer reviews and social posts, as well as coding, writing, math and decision making
-32k sequence length
-Function calling
-Deepspeed Stage=3, use rslora and BAdam Layer Mode


www.linkbricks.com, www.linkbricks.vc

Downloads last month
66
Safetensors
Model size
22.2B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Saxo/Linkbricks-Horizon-AI-Korean-Superb-22B

Finetuned
(23)
this model
Finetunes
1 model
Quantizations
1 model

Datasets used to train Saxo/Linkbricks-Horizon-AI-Korean-Superb-22B