Update README.md

README.md

@@ -26,42 +26,43 @@ pipeline_tag: fill-mask
 
 | 模型 | 版本 | 说明 |
 | :--: | :--: | :--:|
-| [keyword_gacha_base_multilingual](https://huggingface.co/neavo/keyword_gacha_base_multilingual) | 20241212 | 基础模型 |
-| [keyword_gacha_ner_multilingual](https://huggingface.co/neavo/keyword_gacha_ner_multilingual)  | 20241212 | 预训练实体识别模型 |
+| [keyword_gacha_base_multilingual](https://huggingface.co/neavo/keyword_gacha_base_multilingual) | 20250122 | 基础模型 |
+| [keyword_gacha_ner_multilingual](https://huggingface.co/neavo/keyword_gacha_ner_multilingual)  | 20250122 | 预训练实体识别模型 |
 
 ### 基础模型 Base
 
 - 在 [FacebookAI/xlm-roberta-base](https://huggingface.co/FacebookAI/xlm-roberta-base) 进行继续预训练
-- 继续预训练的训练量大约 2B Token，包含 4 种不同语言的语料
+- 继续预训练的训练量大约 1B Token，包含 4 种不同语言的语料
 - 训练参数如下：
   - Batch Size : 8
-  - Gradient Accumulation Steps : 16
-  - Total Batch Size : 128
-  - Learing Rate : 2e-5
+  - Gradient Accumulation Steps : 32
+  - Total Batch Size : 256
+  - Learing Rate : 5e-05
   - Maximum Sequence Length : 256
-  - Optimizer : ademamix_8bit
+  - Optimizer : adamw_torch
+  - LR Scheduler: warmup_stable_decay
   - Warnup Ratio : 0.1
   - Train Precision : bf16
-  - Max Train Epochs : 2
+  
 - 使用说明
   - 暂无，基础模型一般不直接使用，需针对具体下游任务进行微调后使用
 
 ### 实体识别模型 NER
 
-- 在 Base 模型的基础上，使用了大约 50000 条合成语料进行 NER 任务的微调
+- 在 Base 模型的基础上，使用了大约 80000 条合成语料进行 NER 任务的微调
 - 与人工校对的实体词语表进行对比，可以达到 `90%-95%` 的实际准确率
   - 与 [KeywordGacha](https://github.com/neavo/KeywordGacha) 搭配使用时
   - 实际任务环境中的实测数据，并非预设测试集上的 F1 Score 这类理论上的指标
 - 训练参数如下：
-  - Batch Size : 48
-  - Gradient Accumulation Steps : 2
-  - Total Batch Size : 96
-  - Learing Rate : 1e-5
-  - Maximum Sequence Length : 256
-  - Optimizer : ademamix_8bit
+  - Batch Size : 32
+  - Gradient Accumulation Steps : 1
+  - Total Batch Size : 32
+  - Learing Rate : 8e-06
+  - Optimizer : adamw_torch
+  - LR Scheduler: warmup_stable_decay
   - Warnup Ratio : 0.1
   - Train Precision : bf16
-  - Max Train Epochs : 20
+
 - 使用说明
   - 待补充