ClueAI commited on
Commit
63453f4
·
1 Parent(s): d702065

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -16,7 +16,7 @@ ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是
16
  ## 使用方式
17
  为了遵守LLaMA模型许可证,我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加,得到ChatYuan-7B权重。
18
 
19
- 1. 通过原始[LLaMA-7B](https://github.com/facebookresearch/llama)生成LLaMA的hf模型(LLaMA-7B-HF),可以参考[指导](https://huggingface.co/docs/transformers/main/model_doc/llama)
20
  2. 合并LLaMA-7B的hf模型和ChatYuan-7B模型
21
  ### 合并脚本
22
  ```shell
@@ -38,7 +38,7 @@ tokenizer = AutoTokenizer.from_pretrained(ckpt)
38
  ## 推理方式
39
 
40
  ```python
41
- prompt = "用户: \n小元: "
42
  input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
43
  generate_ids = model.generate(input_ids, max_new_tokens=1024, do_sample = True, temperature = 0.7)
44
  output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
 
16
  ## 使用方式
17
  为了遵守LLaMA模型许可证,我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加,得到ChatYuan-7B权重。
18
 
19
+ 1. 通过原始[LLaMA-7B](https://github.com/facebookresearch/llama)生成LLaMA的hf模型(LLaMA-7B-HF),可以参考[指导](https://huggingface.co/docs/transformers/main/model_doc/llama), 也可以直接使用[llama-7b-hf](https://huggingface.co/decapoda-research/llama-7b-hf)
20
  2. 合并LLaMA-7B的hf模型和ChatYuan-7B模型
21
  ### 合并脚本
22
  ```shell
 
38
  ## 推理方式
39
 
40
  ```python
41
+ prompt = "用户:怎么让自己精力充沛,列5点建议\n小元: "
42
  input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
43
  generate_ids = model.generate(input_ids, max_new_tokens=1024, do_sample = True, temperature = 0.7)
44
  output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]