Update README.md
Browse files
README.md
CHANGED
|
@@ -13,10 +13,17 @@ tags:
|
|
| 13 |
|
| 14 |
本模型是从[failspy/Llama-3-70B-Instruct-abliterated-v3](https://huggingface.co/failspy/Llama-3-70B-Instruct-abliterated-v3)经过DPO微调而来
|
| 15 |
|
| 16 |
-
相较于已有的中文版[llama3-70b](https://huggingface.co/shenzhi-wang/Llama3-70B-Chinese-Chat),
|
| 17 |
|
| 18 |
> 我保留了一部分emoji, 这样你才知道你用的是llama3
|
| 19 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
## 模型效果
|
| 21 |
|
| 22 |
以下是一些对话实例, 这些实例均在我自己的电脑上使用exl4-4bpw量化完成推理
|
|
|
|
| 13 |
|
| 14 |
本模型是从[failspy/Llama-3-70B-Instruct-abliterated-v3](https://huggingface.co/failspy/Llama-3-70B-Instruct-abliterated-v3)经过DPO微调而来
|
| 15 |
|
| 16 |
+
相较于已有的中文版[llama3-70b](https://huggingface.co/shenzhi-wang/Llama3-70B-Chinese-Chat), 该模型尽力保留了原本llama3喜欢使用emoji的习惯和更活泼的语气
|
| 17 |
|
| 18 |
> 我保留了一部分emoji, 这样你才知道你用的是llama3
|
| 19 |
|
| 20 |
+
## 上下文扩展
|
| 21 |
+
|
| 22 |
+
根据[描述](https://github.com/CrazyBoyM/llama3-Chinese-chat#llama3%E4%B8%8A%E4%B8%8B%E6%96%87%E9%95%BF%E5%BA%A6%E7%AE%80%E5%8D%95%E6%97%A0%E6%8D%9F%E4%B8%89%E6%AD%A5%E6%89%A9%E5%BC%A0%E6%B3%9532k96k), 可以采用如下方式将llama3的上下文无痛扩展至32k:
|
| 23 |
+
|
| 24 |
+
1. 把config.json中`max_position_embeddings`改为32768（32k)
|
| 25 |
+
2. 把config.json中`rope_theta`改为1000000或者4000000
|
| 26 |
+
|
| 27 |
## 模型效果
|
| 28 |
|
| 29 |
以下是一些对话实例, 这些实例均在我自己的电脑上使用exl4-4bpw量化完成推理
|