Update README.md

README.md

@@ -20,38 +20,16 @@ tags:
 
 ### Score
 
-Kmmlu
-| 분야 주제 | 수 | 평균 점수 | 최고 점수 | 최저 점수 |
-|-----------|---|-----------|-----------|-----------|
-| 공학 및 기술 | 15 | 0.4503 | 0.7320 (컴퓨터 과학) | 0.3210 (전기 공학) |
-| 자연 과학 | 5 | 0.4013 | 0.4860 (생태학) | 0.3090 (환경 과학) |
-| 사회 과학 및 인문학 | 11 | 0.5443 | 0.8010 (마케팅) | 0.3500 (한국 역사) |
-| 비즈니스 및 경영 | 7 | 0.5310 | 0.6190 (경영학) | 0.3950 (세금) |
-| 의료 및 건강 | 2 | 0.5495 | 0.6200 (건강) | 0.4790 (심리학) |
-| 기타 | 5 | 0.4414 | 0.5970 (인테리어 건축 및 디자인) | 0.3620 (건설) |
-
-전체 평균 점수: 0.5059 (50.59%)
-
-
-
-|Tasks|Version|     Filter     |n-shot|  Metric   |   |Value |   |Stderr|
-|-----|------:|----------------|-----:|-----------|---|-----:|---|-----:|
-|gsm8k|      3|flexible-extract|     5|exact_match|↑  |0.7854|±  |0.0113|
-|     |       |strict-match    |     5|exact_match|↑  |0.7597|±  |0.0118|
-
-|     Tasks      |Version|Filter|n-shot| Metric |   |Value |   |Stderr|
-|----------------|------:|------|-----:|--------|---|-----:|---|------|
-|kobest_boolq    |      1|none  |     5|acc     |↑  |0.9145|±  |0.0075|
-|                |       |none  |     5|f1      |↑  |0.9145|±  |   N/A|
-|kobest_copa     |      1|none  |     5|acc     |↑  |0.7050|±  |0.0144|
-|                |       |none  |     5|f1      |↑  |0.7045|±  |   N/A|
-|kobest_hellaswag|      1|none  |     5|acc     |↑  |0.4600|±  |0.0223|
-|                |       |none  |     5|acc_norm|↑  |0.5540|±  |0.0223|
-|                |       |none  |     5|f1      |↑  |0.4564|±  |   N/A|
-|kobest_sentineg |      1|none  |     5|acc     |↑  |0.9496|±  |0.0110|
-|                |       |none  |     5|f1      |↑  |0.9496|±  |   N/A|
-|kobest_wic      |      1|none  |     5|acc     |↑  |0.7294|±  |0.0125|
-|                |       |none  |     5|f1      |↑  |0.7258|±  |   N/A|
+| Benchmark | CarrotAI/Rabbit-Ko-15B-Instruct | Llama 3.1 8B Inst. | Gemma 2 9B Inst. | QWEN 2 7B Inst. | Phi 3 7B Inst. | Mistral 7B | Shot |
+|-----------|:-------------------------------:|:------------------:|:-----------------:|:----------------:|:--------------:|:----------:|:----:|
+| GSM8K | 80.29 | 75.9 | 77.2 | 62.3 | 86.4 | 47.5 | 5 |
+| KMMLU | 47.95 | 41.8 | 40.3 | 46.5 | 37.2 | 31.4 | 5 |
+| KoBEST-BoolQ | 91.67 | 87.6 | 89.9 | 90.2 | 76.9 | 84.3 | 5 |
+| KoBEST-COPA | 71.30 | 72.8 | 60.6 | 70.3 | 54.5 | 62.9 | 5 |
+| KoBEST-WiC | 71.11 | 41.7 | 54.3 | 65.9 | 56.0 | 44.6 | 5 |
+| KoBEST-HellaSwag | 45.40 | 44.5 | 42.6 | 46.8 | 34.8 | 42.4 | 5 |
+| KoBEST-SentiNeg | 94.96 | 95.2 | 72.0 | 92.9 | 81.0 | 84.7 | 5 |
+| Average | 71.81 | 65.64 | 62.41 | 67.84 | 60.97 | 56.83 | - |
 
 ## Quickstart