File size: 1,208 Bytes
5a16b15
 
 
 
 
 
 
 
 
 
 
5abfde7
 
 
 
 
 
5a16b15
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from transformers import BertConfig

model_name = 'bert-base-chinese'	# bert版本名称
model_path = 'D:/Transformers-Bert/bert-base-chinese/'	# 用户下载的预训练bert文件存放地址
config_path = 'D:/Transformers-Bert/bert-base-chinese/config.json'  # 用户下载的预训练bert文件config.json存放地址

# 载入config 文件可以采取三种方式:bert名称、bert文件夹地址、config文件地址
# config = BertConfig.from_pretrained(model_name)	# 这个方法会自动从官方的s3数据库下载模型配置、参数等信息(代码中已配置好位置)
# config = BertConfig.from_pretrained(model_path)
config = BertConfig.from_pretrained(config_path)
            
from transformers import BertTokenizer,BertModel
model_name = 'hfl/chinese-roberta-wwm-ext'
config = BertConfig.from_pretrained(model_name)	# 这个方法会自动从官方的s3数据库下载模型配置、参数等信息(代码中已配置好位置)
tokenizer = BertTokenizer.from_pretrained(model_name)		 # 这个方法会自动从官方的s3数据库读取文件下的vocab.txt文件
model = BertModel.from_pretrained(model_name)		# 这个方法会自动从官方的s3数据库下载模型信息