Update README.md

README.md

@@ -1,5 +1,8 @@
 ---
 license: mit
+widget:
+ - text: "[CLS] 인천발 KTX와 관련한 송도역 복합환승센터가 사실상 무산, 단순 철도·버스 위주 환승시설로 만들어진다. 이 때문에 인천시의 인천발 KTX 기점에 앵커시설인 복합환승센터를 통한 인근 지역 경제 활성화를 이뤄낸다는 계획의 차질이 불가피하다. [SEP] 경제와 관련된 뉴스인가요? [SEP] 예 [SEP]"
+ - text: "[CLS] 인천발 KTX와 관련한 송도역 복합환승센터가 사실상 무산, 단순 철도·버스 위주 환승시설로 만들어진다. 이 때문에 인천시의 인천발 KTX 기점에 앵커시설인 복합환승센터를 통한 인근 지역 경제 활성화를 이뤄낸다는 계획의 차질이 불가피하다. [SEP] 경제에 긍정적인 뉴스인가요? [SEP] 아니요 [SEP]"
 datasets:
 - nsmc
 - skt/kobest_v1
@@ -11,16 +14,61 @@ language:
 - ko
 pipeline_tag: text-classification
 ---
-# 아주대학교 제로샷 score model
-`[CLS] 입력 정보 [SEP] 지시문 [SEP] 라벨 [SEP]` 형태의 텍스트를 모델에 넣으면, 모델이 세 텍스트의 관계를 파악하고 점수를 반환합니다. 점수가 높을 수록, 라벨이 지시문을 잘 따르는 결과임을 의미합니다. 다음과 같은 사례에 사용이 가능합니다.
+# AZOU: GPT 3.5보다 뛰어난 제로샷 분류 성능을 가진 한국어 모델
 
-1. 제로샷 분류(주제 분류, 혐오 분류)
-2. 데이터 필터링(~에 대한 글인가요? 예/아니오)
+`[CLS] 입력 정보 [SEP] 지시문 [SEP] 라벨 [SEP]` 형태의 텍스트를 모델에 넣으면, 모델이 세 텍스트의 관계를 파악하고 점수를 반환합니다. 점수가 높을 수록, 라벨이 지시문을 잘 따르는 결과임을 의미합니다. 텍스트에 다음과 같은 질문을 함께 주고 평가할 수 있습니다.
+
+1. 제로샷 분류(주제 분류, 혐오 분류): 이 글의 주제가 뭔가요? 이 글은 혐오 표현을 포함하고 있나요?
+2. 데이터 검색 및 필터링: 이 글은 "화장품 사용법"에 대한 내용을 포함하고 있나요?
 
 [space demo](https://huggingface.co/spaces/iknow-lab/azou)에서 모델을 직접 사용해보세요!<br/>
 base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
 
+## Developers
+- 김희규([email protected])
+- 박성호([email protected])
+- 육세현([email protected])
+- 김효진([email protected])
+
+# Benchmark
+### 제로샷 분류 성능
+|task|azou|GPT-3.5-turbo|
+|---|---|---|
+|aihub_complaints_topic|0.3284|0.15|
+|aihub_dialog_topic|0.428|0.32|
+|ko_relation_fields|0.403|0.381|
+|Average|<b>0.3865</b>|0.2837|
+
+- GPT 3.5-turbo의 경우, 비용 문제로 aihub_complaints_topic는 1300개, aihub_dialog_topic와 ko_relation_fields는 1000개만 평가했습니다.
+- aihub_complaints_topic: AIHub [민원 업무 자동화 인공지능 언어 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=619) - 16개 카테고리 class 분류
+- aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
+- ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
+
+### 파인튜닝 성능
+|task|accuracy|
+|---|---|
+|nsmc|0.8742|
+|apeach|0.8326|
+|klue-ynat|0.8208|
+|kobest-boolq|0.896|
+|kobest-copa|0.709|
+|kobest-hellaswag|0.764|
+|kobest-sentineg|0.9219|
+|kobest-wic|0.7984|
 
+### CSATQA
+|task|accuracy|GPT-3.5-w-token|
+|---|---|---|
+|csatqa-GR|0.24|0.16|
+|csatqa-LI|0.2432|0.3514|
+|csatqa-RCH|0.2571|0.4286|
+|csatqa-RCS|0.2162|0.1892|
+|csatqa-RCSS|0.3095|0.3571|
+|csatqa-WR|0.0909|0.0909|
+|Average| 0.2261 | 0.2629 |
+
+* GPT 3.5의 성능은 [CSATQA 데이터셋](https://huggingface.co/datasets/HAERAE-HUB/csatqa)의 README에서 가져왔습니다.
+ 
 # 사용 예시
 ```
 # Load model directly
@@ -40,7 +88,7 @@ def inference(instruction, input, labels):
 
 inference(
  "문장을 감성분류해주세요",
- "아 영화 개노잼",
+ "아 영화 노잼",
  ["긍정적", "부정적"]
 )
 
@@ -61,32 +109,13 @@ inference(
 
 ```
 
-4epoch 성능
-|task|accuracy|
-|---|---|
-|nsmc|0.8742|
-|apeach|0.8326|
-|klue-ynat|0.8208|
-|kobest-boolq|0.896|
-|kobest-copa|0.709|
-|kobest-hellaswag|0.764|
-|kobest-sentineg|0.9219|
-|kobest-wic|0.7984|
-
-4epoch 제로샷 성능
-|task|accuracy|
-|---|---|
-|csatqa-GR|0.24|
-|csatqa-LI|0.2432|
-|csatqa-RCH|0.2571|
-|csatqa-RCS|0.2162|
-|csatqa-RCSS|0.3095|
-|csatqa-WR|0.0909|
-|aihub_complaints_topic|0.3284|
-|aihub_dialog_topic|0.428|
-|ko_relation_fields|0.403|
-
-- aihub_complaints_topic: AIHub [민원 업무 자동화 인공지능 언어 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=&topMenu=&aihubDataSe=data&dataSetSn=619) - 16개 카테고리 class 분류
-- aihub_dialog_topic: AIHub [한국어 주제별 텍스트 일상대화 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&dataSetSn=543)의 20개 주제 class 분류
-- ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
-
+## Citation
+```
+@misc {azou2023,
+ url={https://huggingface.co/iknow-lab/azou/},
+ title={AZOU: GPT 3.5보다 뛰어난 제로샷 분류 성능을 가진 한국어 모델},
+ author={Kim, Heegyu and Park, Sungho and Yuk, Sehyun and Kim, Hyojin},
+ year={2023},
+ month={Nov}
+} 
+```