Update README.md

README.md

@@ -1,5 +1,92 @@
 ---
 tags:
 - krx
+- finance
+license: mit
+language:
+- ko
 ---
-# Model 1
+
+# krx-llm-competition Model Card
+
+모델은 [KRX LLM 경진대회 리더보드](https://krxbench.koscom.co.kr/)에서 최종 3위를 한 모델입니다. 모델은 금융, 회계 등 금융관련 지식에 대한 Text Generation을 제공합니다.  
+데이터셋 수집 및 학습에 관련된 코드는 [https://github.com/aiqwe/krx-llm-competition](https://github.com/aiqwe/krx-llm-competition)에 자세하게 공개되어 있습니다.
+자세한 내용은 [krx_model_card.pdf](krx_model_card.pdf)를 참조해주세요.
+
+# Usage
+[https://github.com/aiqwe/krx-llm-competition](https://github.com/aiqwe/krx-llm-competition)의 example을 참조하면 쉽게 inference를 해볼 수 있습니다.
+
+```shell
+pip install vllm
+```
+
+```python
+TBD
+```
+
+# Model Card
+| Contents                       | Spec                                |
+|--------------------------------|-------------------------------------|
+| Base model                     | Qwen2.5-7B-Instruct                |
+| Machine                        | A100 SXM 80GB × 2                  |
+| dtype                          | bfloat16                           |
+| PEFT                           | LoRA (r=8, alpha=64)               |
+| Learning Rate                  | 1e-5 (varies by further training)  |
+| LRScheduler                    | Cosine (warm-up: 0.05%)            |
+| Optimizer                      | AdamW                              |
+| Distributed / Efficient Tuning | DeepSpeed v3, Flash Attention      |
+| Global Batch Size              | 128                                |
+
+# Datset Card
+Reference 데이터셋은 일부 저작권 이슈로 인해 Link로 제공합니다.
+MCQA와 QA 데이터셋은 [https://huggingface.co/datasets/aiqwe/krx-llm-competition](https://huggingface.co/datasets/aiqwe/krx-llm-competition)으로 공개합니다.  
+[https://github.com/aiqwe/krx-llm-competition](https://github.com/aiqwe/krx-llm-competition)를 이용하면 다양한 유틸리티 기능을 제공하며, 데이터 소싱 Pipeline을 사용할 수 있습니다.
+
+## References
+| 데이터명                          | url                                                                                      |
+|-----------------------------------|------------------------------------------------------------------------------------------|
+| 한국은행 경제금융 용어 700선      | [Link](https://www.bok.or.kr/portal/bbs/B0000249/view.do?nttId=235017&menuNo=200765) |
+| 재무회계 합성 데이터              | 자체 제작                                                                                        |
+| 금융감독용어사전                  | [Link](https://terms.naver.com/list.naver?cid=42088&categoryId=42088) |
+| web-text.synthetic.dataset-50k    | [Link](https://huggingface.co/datasets/Cartinoe5930/web_text_synthetic_dataset_50k) |
+| 지식경제용어사전                  | [Link](https://terms.naver.com/list.naver?cid=43668&categoryId=43668) |
+| 한국거래소 비정기 간행물          | [Link](http://open.krx.co.kr/contents/OPN04/04020000/OPN04020000.jsp#b8943a5f87282cde0d653d1ae73431c9=1) |
+| 한국거래소규정                    | [Link](https://law.krx.co.kr/las/TopFrame.jsp&KRX) |
+| 초보투자자 증권따라잡기           | [Link](https://main.krxverse.co.kr/_contents/ACA/02010200/file/220104_beginner.pdf) |
+| 청소년을 위한 증권투자            | [Link](https://main.krxverse.co.kr/_contents/ACA/02010200/file/220104_teen.pdf) |
+| 기업사업보고서 공시자료           | [Link](https://opendart.fss.or.kr/)                              |
+| 시사경제용어사전                  | [Link](https://terms.naver.com/list.naver?cid=43668&categoryId=43668) |
+
+## MCQA
+MCQA 데이터는 Reference를 기반으로 다지선다형 문제를 생성한 데이터셋입니다. 문제와 답 뿐만 아니라 Reasoning 텍스트까지 생성하여 학습에 추가하였습니다.  
+학습에 사용된 데이터는 약 4.5만개 데이터셋이며, tiktoken의 o200k_base(gpt-4o, gpt-4o-mini Tokenizer)를 기준으로 총 2천만개의 토큰으로 학습되었습니다.
+| 데이터명                             | 데이터 수 | 토큰 수      |
+|--------------------------------------|-----------|--------------|
+| 한국은행 경제금융 용어 700선         | 1,203     | 277,114      |
+| 재무회계 목차를 이용한 합성데이터    | 451       | 99,770       |
+| 금융감독용어사전                     | 827       | 214,297      |
+| hf_web_text_synthetic_dataset_50k    | 25,461    | 7,563,529    |
+| 지식경제용어사전                     | 2,314     | 589,763      |
+| 한국거래소 비정기 간행물             | 1,183     | 230,148      |
+| 한국거래소규정                       | 3,015     | 580,556      |
+| 초보투자자 증권따라잡기              | 599       | 116,472      |
+| 청소년을 위한 증권 투자              | 408       | 77,037       |
+| 기업사업보고서 공시자료              | 3,574     | 629,807      |
+| 시사경제용어사전                     | 7,410     | 1,545,842    |
+| **합계**                             | **46,445**| **19,998,931**|
+
+## QA
+QA 데이터는 Reference와 질문을 함께 Input으로 받아 생성한 답변과 Reference 없이 질문만을 Input으로 받아 생성한 답변 2가지로 구성됩니다.  
+Reference를 제공받으면 모델은 보다 정확한 답변을 하지만 모델만의 지식이 제한되어 답변이 좀더 짧아지거나 다양성이 줄어들게 됩니다.
+총 4.8만개의 데이터셋과 2억개의 토큰으로 학습되었습니다.
+| 데이터명                             | 데이터 수 | 토큰 수      |
+|--------------------------------------|-----------|--------------|
+| 한국은행 경제금융 용어 700선         | 1,023     | 846,970      |
+| 금융감독용어사전                     | 4,128     | 3,181,831    |
+| 지식경제용어사전                     | 6,526     | 5,311,890    |
+| 한국거래소 비정기 간행물             | 1,510     | 1,089,342    |
+| 한국거래소규정                       | 4,858     | 3,587,059    |
+| 기업사업보고서 공시자료              | 3,574     | 629,807      |
+| 시사경제용어사전                     | 29,920    | 5,981,839    |
+| **합계**                             | **47,965**| **199,998,931**|
+