|
--- |
|
license: agpl-3.0 |
|
language: |
|
- zh |
|
tags: |
|
- PULSE |
|
- llm |
|
--- |
|
|
|
# PULSE |
|
|
|
[](https://github.com/openmedlab/PULSE/blob/main/LICENSE) |
|
[](https://github.com/openmedlab/PULSE/blob/main/MODEL_LICENSE) |
|
|
|
## 目录 |
|
|
|
- [开源模型](#开源模型) |
|
- [模型介绍](#模型介绍) |
|
- [局限性](#局限性) |
|
- [Elo评测](#Elo评测) |
|
- [推理](#推理) |
|
- [硬件要求](#硬件要求) |
|
- [下载安装](#下载安装) |
|
- [使用示例](#使用示例) |
|
- [致谢](#致谢) |
|
- [开源协议](#开源协议) |
|
|
|
---- |
|
|
|
## 开源模型 |
|
|
|
- [**PULSE-20bv5**](https://huggingface.co/OpenMEDLab/PULSE-20bv5) |
|
|
|
## 模型介绍 |
|
|
|
- **大规模训练**：PULSE模型在[internlm-20b](https://huggingface.co/internlm/internlm-20b)模型的基础上， |
|
使用约4,000,000个医学领域和通用领域的SFT数据进行进一步微调。 |
|
- **全面的医学自然语言处理任务**：PULSE支持医学领域的各种自然语 |
|
言处理任务，包括健康教育、医师考试问题、报告解读、医疗记录结构化 |
|
以及模拟诊断和治疗。 |
|
|
|
### 局限性 |
|
|
|
由于模型参数量较小和自回归生成范式，尽管模型提供了有关疾病诊断和治疗的推理结果，但这些结果不能代替线下职业医生的建议和治疗方案。所有回答仅供参考，不应作为诊断或治疗的依据。我们强烈建议用户在需要诊断或治疗疾病时，寻求专业医生的帮助和建议。 |
|
|
|
### Elo评测 |
|
|
|
| Model Name | AVG Rank | MedQA-USMLE | MedQA-Mainland | PromptCBLUE | WebMedQA | CheckupQA | MedicineQA | DialogSumm | MedTriage (F1) | |
|
|:-------------|-----------:|--------------:|-----------------:|--------------:|-----------:|------------:|-------------:|-------------:|-----------------:| |
|
| GPT-4 | 1.25 | 1129 | 1117 | 1110 | 1116 | 1096 | 1098 | 1109 | 0.65 | |
|
| PULSE-Pro | 1.75 | 1089 | 1092 | 1088 | 1119 | 1105 | 1083 | 1096 | 0.63 | |
|
| ChatGPT | 4.00 | 1086 | 1057 | 1064 | 1053 | 1020 | 1029 | 1080 | 0.43 | |
|
| PULSE-20b | 4.12 | 1042 | 1024 | 1039 | 1059 | 1049 | 1069 | 1076 | 0.40 | |
|
| Baichuan2 | 4.50 | 1024 | 1041 | 1065 | 1044 | 1062 | 1035 | 1069 | 0.33 | |
|
| ChatGLM3 | 5.62 | 1038 | 1062 | 997 | 1012 | 1003 | 1024 | 1021 | 0.06 | |
|
| HuatuoGPT2 | 7.62 | 955 | 993 | 985 | 963 | 983 | 1003 | 980 | 0.01 | |
|
| QiZhenGPT | 8.38 | 955 | 959 | 945 | 989 | 1039 | 932 | 921 | 0.00 | |
|
| BenTsao | 8.75 | 961 | 921 | 936 | 910 | 927 | 986 | 920 | 0.02 | |
|
| BianQue2 | 10.12 | 913 | 928 | 919 | 988 | 974 | 900 | 908 | 0.00 | |
|
| MING | 10.75 | 902 | 909 | 924 | 867 | 862 | 960 | 918 | 0.01 | |
|
| DoctorGLM | 11.12 | 906 | 896 | 930 | 879 | 880 | 880 | 905 | 0.00 | |
|
|
|
注： PULSE-20b=PULSE-20bv5 |
|
|
|
## 推理 |
|
|
|
### 下载安装 |
|
1. 下载本仓库内容至本地/远程服务器 |
|
|
|
```bash |
|
git clone https://github.com/openmedlab/PULSE |
|
cd PULSE |
|
``` |
|
|
|
2. 创建conda环境安装依赖 |
|
|
|
```bash |
|
conda env create -f llm.yml |
|
conda activate llm |
|
``` |
|
|
|
其中`torch`和`transformers`版本不建议低于推荐版本。 |
|
|
|
### 使用示例 |
|
|
|
#### 网页Demo |
|
|
|
**Gradio** |
|
|
|
```bash |
|
python web_demo_gradio.py |
|
``` |
|
|
|
#### 命令行Demo |
|
|
|
您可以运行仓库中的`cli_demo.py`来启动一个简单的命令行Demo： |
|
|
|
```bash |
|
python cli_demo.py |
|
``` |
|
## 致谢 |
|
|
|
- 上海人工智能实验室 |
|
- 上海交通大学-清源研究院 |
|
- 华东理工大学-自然语言处理与大数据挖掘实验室 |
|
|
|
|
|
## 开源协议 |
|
|
|
本项目所含代码采用[Apache 2.0](https://github.com/openmedlab/PULSE/blob/main/LICENSE)协议，模型权重采用[GNU AGPL 3.0](https://github.com/openmedlab/PULSE/blob/main/MODEL_LICENSE)协议。如使用本项目所含模型及其修改版本提供服务产生误导性或有害性言论，造成不良影响，由服务提供方负责，与本项目无关。 |
|
|
