First version of the chinese_roberta_L-4_H-512 model and tokenizer.

README.md

@@ -49,26 +49,26 @@ You can use this model directly with a pipeline for masked language modeling (ta
 >>> unmasker = pipeline('fill-mask', model='uer/chinese_roberta_L-8_H-512')
 >>> unmasker("中国的首都是[MASK]京。")
 [
-    {'sequence': '[CLS] 中 国 的 首 都 是 北 京 。 [SEP]',
-     'score': 0.9338967204093933, 
+    {'sequence': '[CLS] 中 国 的 首 都 是 北 京 。 [SEP]', 
+     'score': 0.8701988458633423, 
      'token': 1266, 
      'token_str': '北'},
-    {'sequence': '[CLS] 中 国 的 首 都 是 南 京 。 [SEP]', 
-     'score': 0.039428312331438065, 
+    {'sequence': '[CLS] 中 国 的 首 都 是 南 京 。 [SEP]',
+     'score': 0.1194809079170227, 
      'token': 1298, 
-     'token_str': '南'}, 
+     'token_str': '南'},
     {'sequence': '[CLS] 中 国 的 首 都 是 东 京 。 [SEP]', 
-     'score': 0.01681734062731266, 
+     'score': 0.0037803512532263994, 
      'token': 691, 
-     'token_str': '东'}, 
-    {'sequence': '[CLS] 中 国 的 首 都 是 普 京 。 [SEP]', 
-     'score': 0.004590896889567375,
-     'token': 3249, 
+     'token_str': '东'},
+    {'sequence': '[CLS] 中 国 的 首 都 是 普 京 。 [SEP]',
+     'score': 0.0017127094324678183, 
+     'token': 3249,
      'token_str': '普'},
-    {'sequence': '[CLS] 中 国 的 首 都 是 燕 京 。 [SEP]', 
-     'score': 0.0007656012894585729, 
-     'token': 4242,
-     'token_str': '燕'}
+    {'sequence': '[CLS] 中 国 的 首 都 是 望 京 。 [SEP]',
+     'score': 0.001687526935711503,
+     'token': 3307, 
+     'token_str': '望'}
 ]
 ```