CluckRookie/CambioBert-base-beta

CambioBert-base model (English and Chinese)

Pretrained model on 300B tokens corpus. Masked language modeling(MLM) be used as training task.

Usage

from transformers import AutoModelForMaskedLM, BertTokenizer, pipeline
tokenizer = BertTokenizer.from_pretrained('CluckRookie/CambioBert-base-beta',trust_remote_code=True) 
cambiobert = AutoModelForMaskedLM.from_pretrained('CluckRookie/CambioBert-base-beta',trust_remote_code=True)

text = """
超导体（英语：Superconductor），指可以在特定温度以下，呈现电阻为零的导体。零电阻和完全抗磁性是超导体的两个重要特性。
超导体电阻转变为零的温度，称为超导临界温度，据此超导材料可以分为低温超导体和高温超导体。这里的“高[MASK]”是相对于绝对零度而言的，其实远低于冰点摄氏0℃。
科学家一直在寻求提高超导材料的临界温度，目前高温超导体的最高温度记录是马克普朗克研究所的203K（-70°C）。
因为零电阻特性，超导材料在生成强磁场方面有许多应用，如MRI核磁共振成像等。
"""

cambiobert_pipeline = pipeline('fill-mask', model=cambiobert, tokenizer=tokenizer)
result = cambiobert_pipeline(text)
print(result)
# [{'score': 0.9927083849906921,
#   'token': 565,
#   'token_str': '温',
# ...