feng2022's picture
Update download.py
5abfde7
raw
history blame
1.21 kB
from transformers import BertConfig
model_name = 'bert-base-chinese' # bert版本名称
model_path = 'D:/Transformers-Bert/bert-base-chinese/' # 用户下载的预训练bert文件存放地址
config_path = 'D:/Transformers-Bert/bert-base-chinese/config.json' # 用户下载的预训练bert文件config.json存放地址
# 载入config 文件可以采取三种方式:bert名称、bert文件夹地址、config文件地址
# config = BertConfig.from_pretrained(model_name) # 这个方法会自动从官方的s3数据库下载模型配置、参数等信息(代码中已配置好位置)
# config = BertConfig.from_pretrained(model_path)
config = BertConfig.from_pretrained(config_path)
from transformers import BertTokenizer,BertModel
model_name = 'hfl/chinese-roberta-wwm-ext'
config = BertConfig.from_pretrained(model_name) # 这个方法会自动从官方的s3数据库下载模型配置、参数等信息(代码中已配置好位置)
tokenizer = BertTokenizer.from_pretrained(model_name) # 这个方法会自动从官方的s3数据库读取文件下的vocab.txt文件
model = BertModel.from_pretrained(model_name) # 这个方法会自动从官方的s3数据库下载模型信息