kkmkorea commited on
Commit
a8805a4
1 Parent(s): 5989d8a

Upload korscideberta-abstractcls.ipynb

Browse files
Files changed (1) hide show
  1. korscideberta-abstractcls.ipynb +1 -1
korscideberta-abstractcls.ipynb CHANGED
@@ -162,7 +162,7 @@
162
  "\n",
163
  "model_repository = \"kisti/korscideberta\" #Huggingface 모델명 설정\n",
164
  "from transformers import AutoTokenizer\n",
165
- "from tokenization_korscideberta import DebertaV2Tokenizer\n",
166
  "tokenizer = DebertaV2Tokenizer.from_pretrained(model_repository)\n",
167
  "out = tokenizer.tokenize(\"<cls> 한국어 모델을 <s> 한국어 모델을 공유합니다. <s>\")\n",
168
  "print(str(out))\n",
 
162
  "\n",
163
  "model_repository = \"kisti/korscideberta\" #Huggingface 모델명 설정\n",
164
  "from transformers import AutoTokenizer\n",
165
+ "from tokenization_korscideberta_v2 import DebertaV2Tokenizer\n",
166
  "tokenizer = DebertaV2Tokenizer.from_pretrained(model_repository)\n",
167
  "out = tokenizer.tokenize(\"<cls> 한국어 모델을 <s> 한국어 모델을 공유합니다. <s>\")\n",
168
  "print(str(out))\n",