README.md

---
license: apache-2.0
---

# 有害コンテンツ判定のための有害濃縮語彙モデル(32k) for NLP2024

トークナイザのテキスト圧縮率を算出するためのモデル

## Model Description

SentencePieceのユニグラムモードを適用して構築した有害語彙モデル

## 圧縮率の算出方法

圧縮率 = 1 - (トークン数/元々のテキスト文字列長)

## 発表

```
@InProceedings{jwu:nlp2023, 
	author = {梶浦 照乃, 山内 璃乃, 小柳 響子, 東出 紗也夏, 倉光 君郎}, 
	title = {トークナイザーの圧縮率を用いた有害コンテンツの判定法},
    booktitle = {言語処理学会第30回年次大会 (NLP2024)}, 
	year      = {2024}, 
}
```