README.md

metadata

license: mit
language:
  - ko
metrics:
  - accuracy

Model Card for KorSciDeBERTa

KorSciDeBERTa는 Microsoft DeBERTa 모델의 아키텍쳐를 기반으로, 논문, NTIS 연구과제, 특허, 뉴스, 한국어 위키 코퍼스 총 146GB를 사전학습한 모델입니다. 마스킹된 언어 모델링 또는 다음 문장 예측에 사전학습 모델을 사용할 수 있고, 또한 문장 분류, 단어 토큰 분류 또는 질의응답과 같은 다운스트림 작업에서 미세 조정을 통해 사용될 수 있습니다.

Model Details

Model Description

• Developed by: KISTI
• Model type: deberta-v2
• Language(s) (NLP): 한글(ko)

Model Sources

• Repository 1: https://huggingface.co/kisti/korscideberta
• Repository 2: https://aida.kisti.re.kr/

Uses

Downstream Use - Load model directly

git clone https://huggingface.co/kisti/korscideberta; cd korscideberta

• korscideberta-abstractcls.ipynb

from tokenization_korscideberta import DebertaV2Tokenizer

from transformers import AutoModelForSequenceClassification

tokenizer = DebertaV2Tokenizer.from_pretrained("kisti/korscideberta")

model = AutoModelForSequenceClassification.from_pretrained("kisti/korscideberta", num_labels=6, hidden_dropout_prob=0.1, attention_probs_dropout_prob=0.1)

#model = AutoModelForMaskedLM.from_pretrained("kisti/korscideberta")

''''''

train_metrics = trainer.train().metrics

trainer.save_metrics("train", train_metrics)

trainer.push_to_hub()

Out-of-Scope Use

이 모델은 의도적으로 사람들에게 적대적이나 소외된 환경을 조성하는데 사용되어서는 안 됩니다. 이 모델은 '고위험 설정'에서 사용될 수 없습니다. 이 모델은 사람이나 사물에 대한 중요한 결정을 내릴 수 있게 설계되지 않았습니다. 모델의 출력물은 사실이 아닐 수 있습니다. '고위험 설정'은 다음과 같은 사항을 포함합니다: 의료/정치/법률/금융 분야에서의 사용, 고용/교육/신용 분야에서의 인물 평가, 자동으로 중요한 것을 결정하기, (가짜)사실을 생성하기, 신뢰도 높은 요약문 생성, 항상 옳아야만 하는 예측 생성 등.

Bias, Risks, and Limitations

연구목적으로 저작권 문제가 없는 말뭉치 데이터만을 사용하였습니다. 이 모델의 사용자는 아래의 위험 요인들을 인식해야 합니다. 사용된 말뭉치는 대부분 중립적인 성격을 가지고 있는데도 불구하고, 언어 모델의 특성상 아래와 같은 윤리 관련 요소를 일부 포함할 수 있습니다: 특정 관점에 대한 과대/과소 표현, 고정 관념, 개인 정보, 증오/모욕 또는 폭력적인 언어, 차별적이거나 편견적인 언어, 관련이 없거나 반복적인 출력 생성 등.

Recommendations

Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.

How to Get Started with the Model

Use the code below to get started with the model.

[More Information Needed]

Training Details

Training Data

[More Information Needed]

Training Procedure

Preprocessing [optional]

• 과학기술분야 토크나이저 (KorSci Tokenizer)
• 본 사전학습 모델에서 사용된 코퍼스를 기반으로 명사 및 복합명사 약 600만개의 사용자사전이 추가된 Mecab-ko Tokenizer와 기존 SentencePiece-BPE가 병합되어진 토크나이저를 사용하여 말뭉치를 전처리하였습니다.
• Total 128,100 words
• Included special tokens ( < unk >, < cls >, < s >, < mask > )
• File name : spm.model, vocab.txt

Training Hyperparameters

• model_size: base
• num_train_steps: 1,600,000
• train_batch_size: 4,096 * 4 accumulative update = 16,384
• learning_rate: 1e-4
• max_seq_length: 512
• vocab_size: 128,100
• Training regime: fp16 mixed precision

Speeds, Sizes, Times [optional]

[More Information Needed]

Evaluation

Testing Data, Factors & Metrics

Testing Data

본 언어모델의 성능평가는 연구과제보고서 과학기술표준분류 태스크에 파인튜닝하여 평가하는 방식을 사용하였으며, 그 결과는 아래와 같습니다.

• 연구과제보고서 과학기술표준분류 평가 데이터셋(doi.org/10.23057/50), 145 Classes, 209,454 Training Set, 89,767 Test Set

Metrics

F1-micro/macro: 정답 Top3 중 최소 1개 예측시 성공 기준 F1-strict: 정답 Top3 중 예측한 수 만큼 성공 기준

Results

F1-micro: 0.85, F1-macro: 0.52, F1-strict: 0.71

Technical Specifications

Model Architecture and Objective

[More Information Needed]

Compute Infrastructure

KISTI 국가슈퍼컴퓨팅센터 NEURON 시스템. HPE ClusterStor E1000, Lustre, Slurm

Hardware

NVIDIA A100 80G GPU 24EA

Software

Python 3.9, Cuda 11.8, PyTorch 1.10

Citation

한국과학기술정보연구원 (2023) : 한국어 과학기술분야 DeBERTa 사전학습 모델 (KorSciDeBERTa). Version 1.0. 한국과학기술정보연구원.

BibTeX:

[More Information Needed]

APA:

[More Information Needed]

Glossary [optional]

[More Information Needed]

More Information [optional]

[More Information Needed]

Model Card Authors

김경민, 김은희, 김성찬. 한국과학기술정보연구원 인공지능데이터연구단

Model Card Contact

김경민, kkmkorea kisti.re.kr