|
--- |
|
license: mit |
|
--- |
|
# 基于[xiaol的7B role模型](https://hf-mirror.com/xiaol/RWKV-v5.2-7B-Role-play-16k/blob/main/rwkv_v5.2_7B_role_play_16k.pth)进行的nsfw和roleplay特训微调 |
|
|
|
### 微调使用了1GB NSFW小说数据集,以及300M的小说续写数据集,并混入了450M的User Assistant标准问答指令数据集以保证降低微调带来的影响 |
|
### 最后混入了大约5M的roleplay和TRPG数据集进行Lora |
|
### 使用以下参数进行Lora得到的模型 |
|
|
|
#### Lora_R=256 |
|
#### Lora_Alpha=512 |
|
#### Steps=50 |
|
#### Epoch=84 |
|
#### StartLoss=1.9 |
|
#### EndLoss=1.84 |
|
<span style="color:#ff0000">或许你应该试试[这个](https://huggingface.co/Seikaijyu/RWKV-5-World-3B-ctx4096.roleplay)最新的模型,使用更新更优质的数据集进行Lora的RWKV v5.2 3B roleplay模型(依然带有一定的NSFW能力)</span> |