Update README.md

README.md

@@ -5,11 +5,11 @@ language:
 metrics:
 - accuracy
 ---
-# Model Card for Model ID
+# Model Card for KorSciDeBERTa
 
 <!-- Provide a quick summary of what the model is/does. -->
 
-This modelcard aims to be a base template for new models. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/modelcard_template.md?plain=1).
+KorSciDeBERTa는 Microsoft DeBERTa 모델의 아키텍쳐를 기반으로, 논문, NTIS 연구과제, 특허, 뉴스, 한국어 위키 코퍼스 총 146GB를 사전학습한 모델입니다. 마스킹된 언어 모델링 또는 다음 문장 예측에 사전학습 모델을 사용할 수 있고, 또한 문장 분류, 단어 토큰 분류 또는 질의응답과 같은 다운스트림 작업에서 미세 조정을 통해 사용될 수 있습니다.
 
 ## Model Details
 
@@ -19,20 +19,16 @@ This modelcard aims to be a base template for new models. It has been generated
 
 
 
-- **Developed by:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
+- **Developed by:** KISTI
+- **Model type:** deberta-v2
+- **Language(s) (NLP):** 한글(ko)
 
-### Model Sources [optional]
+### Model Sources
 
 <!-- Provide the basic links for the model. -->
 
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
+- **Repository 1:** https://huggingface.co/kisti/korscideberta
+- **Repository 2:** https://aida.kisti.re.kr/
 
 ## Uses
 
@@ -53,14 +49,17 @@ This modelcard aims to be a base template for new models. It has been generated
 ### Out-of-Scope Use
 
 <!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
-
-[More Information Needed]
+이 모델은 의도적으로 사람들에게 적대적이나 소외된 환경을 조성하는데 사용되어서는 안 됩니다.
+이 모델은 '고위험 설정'에서 사용될 수 없습니다. 이 모델은 사람이나 사물에 대한 중요한 결정을 내릴 수 있게 설계되지 않았습니다. 모델의 출력물은 사실이 아닐 수 있습니다.
+'고위험 설정'은 다음과 같은 사항을 포함합니다:
+의료/정치/법률/금융 분야에서의 사용, 고용/교육/신용 분야에서의 인물 평가, 자동으로 중요한 것을 결정하기, (가짜)사실을 생성하기, 신뢰도 높은 요약문 생성, 항상 옳아야만 하는 예측 생성 등.
 
 ## Bias, Risks, and Limitations
 
 <!-- This section is meant to convey both technical and sociotechnical limitations. -->
-
-[More Information Needed]
+연구목적으로 저작권 문제가 없는 말뭉치 데이터만을 사용하였습니다. 이 모델의 사용자는 아래의 위험 요인들을 인식해야 합니다.
+사용된 말뭉치는 대부분 중립적인 성격을 가지고 있는데도 불구하고, 언어 모델의 특성상 아래와 같은 윤리 관련 요소를 일부 포함할 수 있습니다:
+특정 관점에 대한 과대/과소 표현, 고정 관념, 개인 정보, 증오/모욕 또는 폭력적인 언어, 차별적이거나 편견적인 언어, 관련이 없거나 반복적인 출력 생성 등.
 
 ### Recommendations
 
@@ -88,12 +87,21 @@ Use the code below to get started with the model.
 
 #### Preprocessing [optional]
 
-[More Information Needed]
-
+- 과학기술분야 토크나이저 (KorSci Tokenizer)
+- 본 사전학습 모델에서 사용된 코퍼스를 기반으로 명사 및 복합명사 약 600만개의 사용자사전이 추가된 [Mecab-ko Tokenizer](https://bitbucket.org/eunjeon/mecab-ko/src/master/)와 기존 SentencePiece-BPE가 병합되어진 토크나이저를 사용하여 말뭉치를 전처리하였습니다.
+ - Total 128,100 words
+ - Included special tokens ( <unk>, <cls>, <s>, <mask> )
+ - File name : spm.model, vocab.txt
 
 #### Training Hyperparameters
 
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
+- **model_size:** base
+- **num_train_steps:** 1,600,000
+- **train_batch_size:** 4,096 * 4 accumulative update = 16,384
+- **learning_rate:** 1e-4
+- **max_seq_length:** 512
+- **vocab_size:** 128,100
+- **Training regime:** fp16 mixed precision <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
 
 #### Speeds, Sizes, Times [optional]
 
@@ -111,7 +119,8 @@ Use the code below to get started with the model.
 
 <!-- This should link to a Data Card if possible. -->
 
-[More Information Needed]
+본 언어모델의 성능평가는 연구과제보고서 과학기술표준분류 태스크에 파인튜닝하여 평가하는 방식을 사용하였으며, 그 결과는 아래와 같습니다.
+- 연구과제보고서 과학기술표준분류 평가 데이터셋(doi.org/10.23057/50), 145 Classes, 209,454 Training Set, 89,767 Test Set
 
 #### Factors
 
@@ -133,25 +142,8 @@ Use the code below to get started with the model.
 
 
 
-## Model Examination [optional]
-
-<!-- Relevant interpretability work for the model goes here -->
-
-[More Information Needed]
 
-## Environmental Impact
-
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
-
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-
-## Technical Specifications [optional]
+## Technical Specifications
 
 ### Model Architecture and Objective
 
@@ -159,19 +151,20 @@ Carbon emissions can be estimated using the [Machine Learning Impact calculator]
 
 ### Compute Infrastructure
 
-[More Information Needed]
+KISTI 국가슈퍼컴퓨팅센터 NEURON 시스템. HPE ClusterStor E1000, Lustre, Slurm
 
 #### Hardware
 
-[More Information Needed]
+NVIDIA A100 80G GPU 24EA
 
 #### Software
 
-[More Information Needed]
+Python 3.9, Cuda 11.8, PyTorch 1.10
 
-## Citation [optional]
+## Citation
 
 <!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
+한국과학기술정보연구원 (2023) : 한국어 과학기술분야 DeBERTa 사전학습 모델 (KorSciDeBERTa). Version 1.0. 한국과학기술정보연구원.
 
 **BibTeX:**
 
@@ -191,12 +184,12 @@ Carbon emissions can be estimated using the [Machine Learning Impact calculator]
 
 [More Information Needed]
 
-## Model Card Authors [optional]
+## Model Card Authors
 
-[More Information Needed]
+김경민, 김은희, 김성찬. 한국과학기술정보연구원 인공지능데이터연구단
 
 ## Model Card Contact
 
-[More Information Needed]
+김경민, [email protected]