README.md

---
license: apache-2.0
---

# 有害コンテンツ判定のための有害濃縮語彙モデル(32k) for NLP2024

トークナイザのテキスト圧縮率を算出するためのモデル

## Model Description

mC4から抽出した有害テキストに、SentencePieceのユニグラムモードを適用して構築した有害語彙モデル

## 圧縮率の算出方法

圧縮率 = 1 - (トークン数/元々のテキスト文字列長)