Zimix commited on
Commit
78b8448
·
1 Parent(s): c73bd0c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -0
README.md CHANGED
@@ -58,6 +58,8 @@ model = GPT2LMHeadModel.from_pretrained(hf_model_path)
58
 
59
  ### 使用示例 Usage Examples
60
 
 
 
61
  ```python
62
  def generate_word_level(input_text,n_return=5,max_length=128,top_p=0.9):
63
  inputs = tokenizer(input_text,return_tensors='pt',add_special_tokens=False).to(model.device)
 
58
 
59
  ### 使用示例 Usage Examples
60
 
61
+ 这里需要提一点,GPT在训练的时候是没有添加special_tokens的,BertTokenizer会默认补充special_tokens,所以在tokenzier的时候需要将add_special_tokens设置为false,这样生产效果会更好。
62
+
63
  ```python
64
  def generate_word_level(input_text,n_return=5,max_length=128,top_p=0.9):
65
  inputs = tokenizer(input_text,return_tensors='pt',add_special_tokens=False).to(model.device)