Update README.md
Browse files
README.md
CHANGED
|
@@ -10,13 +10,16 @@ tags:
|
|
| 10 |
- medical
|
| 11 |
---
|
| 12 |
|
| 13 |
-
|
| 14 |
在2张V800-80G上,
|
| 15 |
|
| 16 |
基于Qwen/Qwen2-7B-Instruct, 在llamafactory框架上,
|
| 17 |
|
| 18 |
使用SylvanL/Traditional-Chinese-Medicine-Dataset-Pretrain进行了2个epoch的继续预训练(Continue Pre-train).
|
| 19 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
|
| 21 |
```
|
| 22 |
epoch 1:
|
|
@@ -52,7 +55,7 @@ llamafactory-cli train \
|
|
| 52 |
--template default \
|
| 53 |
--flash_attn auto \
|
| 54 |
--dataset_dir {dataset_dir} \
|
| 55 |
-
--dataset CPT_generalMedical_362420,
|
| 56 |
--cutoff_len 1024 \
|
| 57 |
--learning_rate 6e-06 \
|
| 58 |
--num_train_epochs 2.0 \
|
|
|
|
| 10 |
- medical
|
| 11 |
---
|
| 12 |
|
|
|
|
| 13 |
在2张V800-80G上,
|
| 14 |
|
| 15 |
基于Qwen/Qwen2-7B-Instruct, 在llamafactory框架上,
|
| 16 |
|
| 17 |
使用SylvanL/Traditional-Chinese-Medicine-Dataset-Pretrain进行了2个epoch的继续预训练(Continue Pre-train).
|
| 18 |
|
| 19 |
+
在保留模型原有通用能力的前提下，使模型熟悉、记住，并更倾向于输出以下内容：
|
| 20 |
+
1. 中医问诊单、处方笺、医生诊断及多种格式的病案、医案内容
|
| 21 |
+
2. 中医领域教材与典籍
|
| 22 |
+
3. 中成药、中药材、中医方剂、中医术语、中医疾病、中医症状、药膳食疗相关的知识点
|
| 23 |
|
| 24 |
```
|
| 25 |
epoch 1:
|
|
|
|
| 55 |
--template default \
|
| 56 |
--flash_attn auto \
|
| 57 |
--dataset_dir {dataset_dir} \
|
| 58 |
+
--dataset CPT_generalMedical_362420,{shibing624/huatuo_medical_qa_sharegpt},CPT_medicalRecord_source1_61486,CPT_medicalRecord_source2_15307,CPT_medicalRecord_source3_230000,CPT_tcmKnowledge_source1_17921,CPT_tcmKnowledge_source2_12889,CPT_tcmBooks_source1_146244 \
|
| 59 |
--cutoff_len 1024 \
|
| 60 |
--learning_rate 6e-06 \
|
| 61 |
--num_train_epochs 2.0 \
|