Commit
·
353f9a8
1
Parent(s):
de4e5fb
First model version
Browse files
README.md
CHANGED
@@ -35,17 +35,17 @@
|
|
35 |
由于模型参数量较小和自回归生成范式,尽管模型提供了有关疾病诊断和治疗的推理结果,但这些结果不能代替线下职业医生的建议和治疗方案。所有回答仅供参考,不应作为诊断或治疗的依据。我们强烈建议用户在需要诊断或治疗疾病时,寻求专业医生的帮助和建议。
|
36 |
|
37 |
### Elo评测
|
38 |
-
| model_name | model_size | MedQA_Mainland | PromptCBLUE |
|
39 |
-
|
40 |
-
| GPT4 | 220B*8(?) | 1118.20 | 1166.39 | 1122.20 | 1132.74 |
|
41 |
-
| ChatGPT | 175B(?) | 1083.05 | 1102.31 | 1098.38 | 1097.88 |
|
42 |
-
|
|
43 |
-
|
|
44 |
-
| QiZhenGPT | 13B | 952.66 | 929.56 | 1076.41 | 1006.85 |
|
45 |
-
| BianQue | 6B | 927.86 | 922.65 | 1050.22 | 1042.64 |
|
46 |
-
| Med-ChatGLM | 6B | 989.59 | 928.77 | 882.08 | 856.66 |
|
47 |
-
| BenTsao | 7B | 954.20 | 933.39 | 815.51 | 856.20 |
|
48 |
-
| DoctorGLM | 6B | 923.54 | 914.10 | 851.04 | 863.35 |
|
49 |
|
50 |
|
51 |
## 推理
|
|
|
35 |
由于模型参数量较小和自回归生成范式,尽管模型提供了有关疾病诊断和治疗的推理结果,但这些结果不能代替线下职业医生的建议和治疗方案。所有回答仅供参考,不应作为诊断或治疗的依据。我们强烈建议用户在需要诊断或治疗疾病时,寻求专业医生的帮助和建议。
|
36 |
|
37 |
### Elo评测
|
38 |
+
| model_name | model_size | ALL | MedQA_Mainland | PromptCBLUE | detailedMedQA | webMedQA |
|
39 |
+
|:-------------|:-------------|--------:|-----------------:|--------------:|----------------------:|-----------:|
|
40 |
+
| GPT4 | 220B*8(?) | 1243.79 | 1118.20 | 1166.39 | 1122.20 | 1132.74 |
|
41 |
+
| ChatGPT | 175B(?) | 1149.38 | 1083.05 | 1102.31 | 1098.38 | 1097.88 |
|
42 |
+
| PULSE_14b | 14B | 1114.23 | 1003.55 | 1055.56 | 1074.79 | 1074.28 |
|
43 |
+
| PULSE_7b | 7B | 1084.18 | 1047.35 | 1047.27 | 1029.37 | 1069.40 |
|
44 |
+
| QiZhenGPT | 13B | 979.94 | 952.66 | 929.56 | 1076.41 | 1006.85 |
|
45 |
+
| BianQue | 6B | 959.35 | 927.86 | 922.65 | 1050.22 | 1042.64 |
|
46 |
+
| Med-ChatGLM | 6B | 869.54 | 989.59 | 928.77 | 882.08 | 856.66 |
|
47 |
+
| BenTsao | 7B | 809.13 | 954.20 | 933.39 | 815.51 | 856.20 |
|
48 |
+
| DoctorGLM | 6B | 790.47 | 923.54 | 914.10 | 851.04 | 863.35 |
|
49 |
|
50 |
|
51 |
## 推理
|