vocab/gpt_neox_japanese/test_emoji.py

"""

## 疑问
- \u200d  是啥？
- 对emoji 划分12个类
"""

import json
emoji = json.load(open("tokenizer/emoji.json", "r", encoding="utf-8"))

print(emoji)