README.md

---
license: mit
language:
- ko
metrics:
- accuracy
---
# Model Card for KorSciDeBERTa

<!-- Provide a quick summary of what the model is/does. -->

KorSciDeBERTa는 Microsoft DeBERTa 모델의 아키텍쳐를 기반으로, 논문, NTIS 연구과제, 특허, 뉴스, 한국어 위키 코퍼스 총 146GB를 사전학습한 모델입니다. 마스킹된 언어 모델링 또는 다음 문장 예측에 사전학습 모델을 사용할 수 있고, 또한 문장 분류, 단어 토큰 분류 또는 질의응답과 같은 다운스트림 작업에서 미세 조정을 통해 사용될 수 있습니다.

## Model Details

### Model Description

<!-- Provide a longer summary of what this model is. -->



- **Developed by:** KISTI
- **Model type:** deberta-v2
- **Language(s) (NLP):** 한글(ko)

### Model Sources

<!-- Provide the basic links for the model. -->

- **Repository 1:** https://huggingface.co/kisti/korscideberta
- **Repository 2:** https://aida.kisti.re.kr/

## Uses

### Downstream Use - Load model directly
<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
git clone https://huggingface.co/kisti/korscideberta; cd korscideberta

- **korscideberta-abstractcls.ipynb**

from tokenization_korscideberta import DebertaV2Tokenizer

from transformers import AutoModelForSequenceClassification


tokenizer = DebertaV2Tokenizer.from_pretrained("kisti/korscideberta")

model = AutoModelForSequenceClassification.from_pretrained("kisti/korscideberta", num_labels=6, hidden_dropout_prob=0.1, attention_probs_dropout_prob=0.1)

#model = AutoModelForMaskedLM.from_pretrained("kisti/korscideberta")

''''''

train_metrics = trainer.train().metrics

trainer.save_metrics("train", train_metrics)

trainer.push_to_hub()

### Out-of-Scope Use

<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
이 모델은 의도적으로 사람들에게 적대적이나 소외된 환경을 조성하는데 사용되어서는 안 됩니다.
이 모델은 '고위험 설정'에서 사용될 수 없습니다. 이 모델은 사람이나 사물에 대한 중요한 결정을 내릴 수 있게 설계되지 않았습니다. 모델의 출력물은 사실이 아닐 수 있습니다.
'고위험 설정'은 다음과 같은 사항을 포함합니다:
의료/정치/법률/금융 분야에서의 사용, 고용/교육/신용 분야에서의 인물 평가, 자동으로 중요한 것을 결정하기, (가짜)사실을 생성하기, 신뢰도 높은 요약문 생성, 항상 옳아야만 하는 예측 생성 등.

## Bias, Risks, and Limitations

<!-- This section is meant to convey both technical and sociotechnical limitations. -->
연구목적으로 저작권 문제가 없는 말뭉치 데이터만을 사용하였습니다. 이 모델의 사용자는 아래의 위험 요인들을 인식해야 합니다.
사용된 말뭉치는 대부분 중립적인 성격을 가지고 있는데도 불구하고, 언어 모델의 특성상 아래와 같은 윤리 관련 요소를 일부 포함할 수 있습니다:
특정 관점에 대한 과대/과소 표현, 고정 관념, 개인 정보, 증오/모욕 또는 폭력적인 언어, 차별적이거나 편견적인 언어, 관련이 없거나 반복적인 출력 생성 등.

### Recommendations

<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->

Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.

## How to Get Started with the Model

Use the code below to get started with the model.

[More Information Needed]

## Training Details

### Training Data

<!-- This should link to a Data Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->

[More Information Needed]

### Training Procedure 

<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->

#### Preprocessing [optional]

- 과학기술분야 토크나이저 (KorSci Tokenizer)
- 본 사전학습 모델에서 사용된 코퍼스를 기반으로 명사 및 복합명사 약 600만개의 사용자사전이 추가된 [Mecab-ko Tokenizer](https://bitbucket.org/eunjeon/mecab-ko/src/master/)와 기존 SentencePiece-BPE가 병합되어진 토크나이저를 사용하여 말뭉치를 전처리하였습니다.
 - Total 128,100 words
 - Included special tokens ( < unk >, < cls >, < s >, < mask > )
 - File name : spm.model, vocab.txt

#### Training Hyperparameters

- **model_size:** base
- **num_train_steps:** 1,600,000
- **train_batch_size:** 4,096 * 4 accumulative update = 16,384
- **learning_rate:** 1e-4
- **max_seq_length:** 512
- **vocab_size:** 128,100
- **Training regime:** fp16 mixed precision <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->

#### Speeds, Sizes, Times [optional]

<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->

[More Information Needed]

## Evaluation

<!-- This section describes the evaluation protocols and provides the results. -->

### Testing Data, Factors & Metrics

#### Testing Data

<!-- This should link to a Data Card if possible. -->

본 언어모델의 성능평가는 연구과제보고서 과학기술표준분류 태스크에 파인튜닝하여 평가하는 방식을 사용하였으며, 그 결과는 아래와 같습니다.
- 연구과제보고서 과학기술표준분류 평가 데이터셋(doi.org/10.23057/50), 145 Classes, 209,454 Training Set, 89,767 Test Set

#### Metrics

<!-- These are the evaluation metrics being used, ideally with a description of why. -->
F1-micro/macro: 정답 Top3 중 최소 1개 예측시 성공 기준
F1-strict: 정답 Top3 중 예측한 수 만큼 성공 기준

### Results

F1-micro: 0.85, F1-macro: 0.52, F1-strict: 0.71



## Technical Specifications

### Model Architecture and Objective

[More Information Needed]

### Compute Infrastructure

KISTI 국가슈퍼컴퓨팅센터 NEURON 시스템. HPE ClusterStor E1000, Lustre, Slurm

#### Hardware

NVIDIA A100 80G GPU 24EA

#### Software

Python 3.9, Cuda 11.8, PyTorch 1.10

## Citation

<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
한국과학기술정보연구원 (2023) : 한국어 과학기술분야 DeBERTa 사전학습 모델 (KorSciDeBERTa). Version 1.0. 한국과학기술정보연구원.

**BibTeX:**

[More Information Needed]

**APA:**

[More Information Needed]

## Glossary [optional]

<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->

[More Information Needed]

## More Information [optional]

[More Information Needed]

## Model Card Authors

김경민, 김은희, 김성찬. 한국과학기술정보연구원 인공지능데이터연구단

## Model Card Contact

김경민, kkmkorea kisti.re.kr