File size: 696 Bytes
dcd3155 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
---
language:
- zh
library_name: transformers
pipeline_tag: text2text-generation
---
```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("svjack/T5-dialogue-collect-v5")
model = AutoModelForSeq2SeqLM.from_pretrained("svjack/T5-dialogue-collect-v5")
text = '''
根据下面的上下文进行分段:
上下文 他 喜欢 吃 汉堡 是 但 我 可 不 喜欢。
答案:
'''
tokenizer.decode(
model.generate(
tokenizer.encode(
text, return_tensors="pt", add_special_tokens=True
))[0],
skip_special_tokens = True
)
'''
'分段:他喜欢吃汉堡 分段:是的,但我可不喜欢。'
'''
``` |