fb700 commited on
Commit
7cbe61d
1 Parent(s): 1719afb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -5
README.md CHANGED
@@ -59,7 +59,7 @@ from peft import PeftModel
59
  from transformers import AutoModel, AutoTokenizer
60
  sys.path.append('..')
61
  model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
62
- model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora")
63
  model = model.half().cuda() # fp16
64
  tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
65
  sents = ['新冠肺炎怎么预防。\n答:']
@@ -124,12 +124,12 @@ import sys
124
  from peft import PeftModel
125
  from transformers import AutoModel, AutoTokenizer
126
  sys.path.append('..')
127
- model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
128
- model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora") # lora文件保存目录
129
  model = model.half().quantize(4).cuda() # int4
130
  #model = model.half().quantize(8).cuda() # int8
131
  #model = model.half().cuda() # fp16
132
- tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
133
  sents = ['新冠肺炎怎么预防。\n答:']
134
  for s in sents:
135
  response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
@@ -140,6 +140,6 @@ output:
140
  例四:优于chatglm-6b、chatglm2-6b和百川-7b等类似参数量模型的总结归纳能力
141
  问:请用简短的语言总结下面的文字:
142
  大语言模型是指能够生成、理解和处理自然语言的高度智能化的计算机模型。这些模型使用深度学习技术,尤其是循环神经网络(RNN)或变种,如长短期记忆(LSTM)或注意力机制(attention mechanism),从大规模文本语料库中进行训练。
143
- 大语言模型的训练过程通常基于预测下一个单词或字符的任务。通过对大量文本数据进行训练,模型能够学习到语言的潜在��式、结构和语义含义。这使得大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
144
  答:大语言模型是一种使用深度学习技术训练的计算机模型,能够生成、理解和处理自然语言。通过训练大量文本数据,大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
145
  ```
 
59
  from transformers import AutoModel, AutoTokenizer
60
  sys.path.append('..')
61
  model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, device_map='auto')
62
+ model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora")#"model/chatglm_fitness_lora"为您下载本项目压缩包后,解压后本地lora目录
63
  model = model.half().cuda() # fp16
64
  tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
65
  sents = ['新冠肺炎怎么预防。\n答:']
 
124
  from peft import PeftModel
125
  from transformers import AutoModel, AutoTokenizer
126
  sys.path.append('..')
127
+ model = AutoModel.from_pretrained("fb700/chatglm-fitness-RLHF", trust_remote_code=True, device_map='auto')#fb700/chatglm-fitness-RLHF为hg自动下载地址,如已经自行下载请替换
128
+ #model = PeftModel.from_pretrained(model, "model/chatglm_fitness_lora") # lora文件保存目录
129
  model = model.half().quantize(4).cuda() # int4
130
  #model = model.half().quantize(8).cuda() # int8
131
  #model = model.half().cuda() # fp16
132
+ tokenizer = AutoTokenizer.from_pretrained("fb700/chatglm-fitness-RLHF", trust_remote_code=True)
133
  sents = ['新冠肺炎怎么预防。\n答:']
134
  for s in sents:
135
  response = model.chat(tokenizer, s, max_length=128, eos_token_id=tokenizer.eos_token_id)
 
140
  例四:优于chatglm-6b、chatglm2-6b和百川-7b等类似参数量模型的总结归纳能力
141
  问:请用简短的语言总结下面的文字:
142
  大语言模型是指能够生成、理解和处理自然语言的高度智能化的计算机模型。这些模型使用深度学习技术,尤其是循环神经网络(RNN)或变种,如长短期记忆(LSTM)或注意力机制(attention mechanism),从大规模文本语料库中进行训练。
143
+ 大语言模型的训练过程通常基于预测下一个单词或字符的任务。通过对大量文本数据进行训练,模型能够学习到语言的潜在表达式、结构和语义含义。这使得大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
144
  答:大语言模型是一种使用深度学习技术训练的计算机模型,能够生成、理解和处理自然语言。通过训练大量文本数据,大语言模型能够产生流畅、连贯的文本,回答问题,完成翻译任务,生成代码等。
145
  ```