Update README.md
Browse files
README.md
CHANGED
@@ -58,6 +58,8 @@ model = GPT2LMHeadModel.from_pretrained(hf_model_path)
|
|
58 |
|
59 |
### 使用示例 Usage Examples
|
60 |
|
|
|
|
|
61 |
```python
|
62 |
def generate_word_level(input_text,n_return=5,max_length=128,top_p=0.9):
|
63 |
inputs = tokenizer(input_text,return_tensors='pt',add_special_tokens=False).to(model.device)
|
|
|
58 |
|
59 |
### 使用示例 Usage Examples
|
60 |
|
61 |
+
这里需要提一点,GPT在训练的时候是没有添加special_tokens的,BertTokenizer会默认补充special_tokens,所以在tokenzier的时候需要将add_special_tokens设置为false,这样生产效果会更好。
|
62 |
+
|
63 |
```python
|
64 |
def generate_word_level(input_text,n_return=5,max_length=128,top_p=0.9):
|
65 |
inputs = tokenizer(input_text,return_tensors='pt',add_special_tokens=False).to(model.device)
|