--- language: - "ja" tags: - "japanese" - "token-classification" - "pos" base_model: ku-nlp/gpt2-small-japanese-char datasets: - "universal_dependencies" license: "cc-by-sa-4.0" pipeline_tag: "token-classification" widget: - text: "国境の長いトンネルを抜けると雪国であった。" --- # gpt2-small-japanese-upos ## Model Description This is a GPT-2 model for POS-tagging and dependency-parsing, derived from [gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char). Every short-unit-word is tagged by [UPOS](https://universaldependencies.org/u/pos/) (Universal Part-Of-Speech) and [FEATS](https://universaldependencies.org/u/feat/). ## How to Use ```py from transformers import pipeline nlp=pipeline("upos","KoichiYasuoka/gpt2-small-japanese-upos",trust_remote_code=True,aggregation_strategy="simple") print(nlp("国境の長いトンネルを抜けると雪国であった。")) ``` or ```py import esupar nlp=esupar.load("KoichiYasuoka/gpt2-small-japanese-upos") print(nlp("国境の長いトンネルを抜けると雪国であった。")) ``` ## Reference 安岡孝一: [GPT系モデルの系列ラベリングによる品詞付与](http://hdl.handle.net/2433/288964), 東洋学へのコンピュータ利用, 第38回研究セミナー (2024年7月26日), pp.3-10. ## See Also [esupar](https://github.com/KoichiYasuoka/esupar): Tokenizer POS-tagger and Dependency-parser with BERT/RoBERTa/DeBERTa models