heegyu commited on
Commit
1a491c7
1 Parent(s): b9a3b65

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -10
README.md CHANGED
@@ -44,7 +44,7 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
44
  - aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
45
  - ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
46
 
47
- ### 파인튜닝 성능
48
  |task|accuracy|
49
  |---|---|
50
  |nsmc|0.8742|
@@ -57,15 +57,13 @@ base model: [klue/roberta-large](https://huggingface.co/klue/roberta-large)
57
  |kobest-wic|0.7984|
58
 
59
  ### CSATQA
60
- |task|accuracy|GPT-3.5-w-token|
61
- |---|---|---|
62
- |csatqa-GR|0.24|0.16|
63
- |csatqa-LI|0.2432|0.3514|
64
- |csatqa-RCH|0.2571|0.4286|
65
- |csatqa-RCS|0.2162|0.1892|
66
- |csatqa-RCSS|0.3095|0.3571|
67
- |csatqa-WR|0.0909|0.0909|
68
- |Average| 0.2261 | 0.2629 |
69
 
70
  * GPT 3.5의 성능은 [CSATQA 데이터셋](https://huggingface.co/datasets/HAERAE-HUB/csatqa)의 README에서 가져왔습니다.
71
 
 
44
  - aihub_dialog_topic: AIHub [한국어 대화 요약](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=117)의 10개 주제 class 분류
45
  - ko_relation_fields: AIHub [한국어 지식기반 관계 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=data&dataSetSn=71633) 의 13개 주제 및 분야 분류
46
 
47
+ ### Seen Task 성능
48
  |task|accuracy|
49
  |---|---|
50
  |nsmc|0.8742|
 
57
  |kobest-wic|0.7984|
58
 
59
  ### CSATQA
60
+
61
+ | **Models** | **GR** | **LI** | **RCH** | **RCS** | **RCSS** | **WR** | **Average** |
62
+ |:-----------------:|:---------:|:---------:|:---------:|:---------:|:---------:|:---------:|:-----------:|
63
+ | polyglot-ko-12.8B | 32.0 | 29.73 | 17.14| 10.81 | 21.43 | 18.18 | 21.55|
64
+ | gpt-3.5-wo-token | 16.0 | 32.43 | 42.86 | 18.92 | 35.71 | 0.00 | 24.32 |
65
+ | gpt-3.5-w-token | 16.0 | 35.14 | 42.86 | 18.92 | 35.71 | 9.09 | 26.29 |
66
+ | **azou(ours)** | 24.0 | 22.32 | 25.71 | 21.62 | 30.95 | 9.09 | 22.61 |
 
 
67
 
68
  * GPT 3.5의 성능은 [CSATQA 데이터셋](https://huggingface.co/datasets/HAERAE-HUB/csatqa)의 README에서 가져왔습니다.
69