Update README.md
Browse files
README.md
CHANGED
@@ -59,7 +59,7 @@ from peft import PeftModel
|
|
59 |
from transformers import AutoModel, AutoTokenizer
|
60 |
sys.path.append('..')
|
61 |
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
|
62 |
-
model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora")
|
63 |
model = model.half().cuda() # fp16
|
64 |
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
|
65 |
sents = ['新冠肺炎怎么预防。\n答:']
|
@@ -124,12 +124,12 @@ import sys
|
|
124 |
from peft import PeftModel
|
125 |
from transformers import AutoModel, AutoTokenizer
|
126 |
sys.path.append('..')
|
127 |
-
model = AutoModel.from_pretrained("
|
128 |
-
model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora") # lora文件保存目录
|
129 |
model = model.half().quantize(4).cuda() # int4
|
130 |
#model = model.half().quantize(8).cuda() # int8
|
131 |
#model = model.half().cuda() # fp16
|
132 |
-
tokenizer = AutoTokenizer.from_pretrained("
|
133 |
sents = ['新冠肺炎怎么预防。\n答:']
|
134 |
for s in sents:
|
135 |
response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
|
@@ -140,6 +140,6 @@ output:
|
|
140 |
例四:优于chatglm-6b、chatglm2-6b和百川-7b等类似参数量模型的总结归纳能力
|
141 |
问:请用简短的语言总结下面的文字:
|
142 |
大语言模型是指能够生成、理解和处理自然语言的高度智能化的计算机模型。这些模型使用深度学习技术,尤其是循环神经网络(RNN)或变种,如长短期记忆(LSTM)或注意力机制(attention mechanism),从大规模文本语料库中进行训练。
|
143 |
-
|
144 |
答:大语言模型是一种使用深度学习技术训练的计算机模型,能够生成、理解和处理自然语言。通过训练大量文本数据,大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
|
145 |
```
|
|
|
59 |
from transformers import AutoModel, AutoTokenizer
|
60 |
sys.path.append('..')
|
61 |
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
|
62 |
+
model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora")#"model/chatglm_fitness_lora"为您下载本项目压缩包后,解压后本地lora目录
|
63 |
model = model.half().cuda() # fp16
|
64 |
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
|
65 |
sents = ['新冠肺炎怎么预防。\n答:']
|
|
|
124 |
from peft import PeftModel
|
125 |
from transformers import AutoModel, AutoTokenizer
|
126 |
sys.path.append('..')
|
127 |
+
model = AutoModel.from_pretrained("fb700/chatglm-fitness-RLHF", trust_remote_code=True, device_map='auto')#fb700/chatglm-fitness-RLHF为hg自动下载地址,如已经自行下载请替换
|
128 |
+
#model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora") # lora文件保存目录
|
129 |
model = model.half().quantize(4).cuda() # int4
|
130 |
#model = model.half().quantize(8).cuda() # int8
|
131 |
#model = model.half().cuda() # fp16
|
132 |
+
tokenizer = AutoTokenizer.from_pretrained("fb700/chatglm-fitness-RLHF", trust_remote_code=True)
|
133 |
sents = ['新冠肺炎怎么预防。\n答:']
|
134 |
for s in sents:
|
135 |
response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
|
|
|
140 |
例四:优于chatglm-6b、chatglm2-6b和百川-7b等类似参数量模型的总结归纳能力
|
141 |
问:请用简短的语言总结下面的文字:
|
142 |
大语言模型是指能够生成、理解和处理自然语言的高度智能化的计算机模型。这些模型使用深度学习技术,尤其是循环神经网络(RNN)或变种,如长短期记忆(LSTM)或注意力机制(attention mechanism),从大规模文本语料库中进行训练。
|
143 |
+
大语言模型的训练过程通常基于预测下一个单词或字符的任务。通过对大量文本数据进行训练,模型能够学习到语言的潜在表达式、结构和语义含义。这使得大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
|
144 |
答:大语言模型是一种使用深度学习技术训练的计算机模型,能够生成、理解和处理自然语言。通过训练大量文本数据,大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
|
145 |
```
|