Model Card for Model ID

AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 이사가
meta-llama/Llama-3.3-70B-Instruct 베이스모델을 사용해서 H100-80G 8개를 통해 한국어 SFT->DPO 한 한국어 강화 언어 모델
4천만건의 한글 뉴스 및 위키 코퍼스를 기준으로 다양한 테스크별 한국어-일본어-중국어-영어 교차 학습 데이터와 수학 및 논리판단 데이터를 통하여 한중일영 언어 교차 증강 처리와 복잡한 논리 문제 역시 대응 가능하도록 훈련한 모델이다.
-토크나이저는 단어 확장 없이 베이스 모델 그대로 사용
-고객 리뷰나 소셜 포스팅 고차원 분석 및 코딩과 작문, 수학, 논리판단 등이 강화된 모델
-128k-Context Window
-Function Call 및 Tool Calling 지원
-128k-Context Window
-Deepspeed Stage=3, rslora 및 BAdam Layer Mode 사용
-"transformers_version": "4.46.3"


Finetuned by Mr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics
Korean SFT->DPO training model based on Saxo/Linkbricks-Horizon-AI-Japanese-Base-70B through 8 H100-80Gs as a Korean boosting language model
It is a model that has been trained to handle Korean-Japanese-Chinese-English cross-training data and 40M Korean news corpus and logic judgment data for various tasks to enable cross-fertilization processing and complex Korean logic & math problems.
-Tokenizer uses the base model without word expansion
-Models enhanced with high-dimensional analysis of customer reviews and social posts, as well as coding, writing, math and decision making
-Function Calling
-128k-Context Window
-Deepspeed Stage=3, use rslora and BAdam Layer Mode


www.linkbricks.com, www.linkbricks.vc

Downloads last month
40
Safetensors
Model size
70.6B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Saxo/Linkbricks-Horizon-AI-Llama-3.3-Korean-70B-sft-dpo

Finetuned
(49)
this model

Datasets used to train Saxo/Linkbricks-Horizon-AI-Llama-3.3-Korean-70B-sft-dpo