README_ja.md

---
license: apache-2.0
tags:
- onnx
- ort
---

# [google-bert/bert-base-cased](https://huggingface.co/google-bert/bert-base-cased) のONNXおよびORTモデルと量子化モデル

[Click here for the English README](README.md)

このリポジトリは、元のモデル [google-bert/bert-base-cased](https://huggingface.co/google-bert/bert-base-cased) をONNXおよびORT形式に変換し、さらに量子化したものです。

## ライセンス
このモデルのライセンスは「apache-2.0」です。詳細は元のモデルページ（[google-bert/bert-base-cased](https://huggingface.co/google-bert/bert-base-cased)）を参照してください。

## 使い方
このモデルを使用するには、ONNX Runtimeをインストールし、以下のように推論を行います。
```python
# サンプルコード
import onnxruntime as ort
import numpy as np
from transformers import AutoTokenizer
import os

# トークナイザーの読み込み
tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-base-cased')

# 入力の準備
text = 'ここに入力テキストを置き換えてください。'
inputs = tokenizer(text, return_tensors='np')

# 使用するモデルのパスを指定
# ONNXモデルとORTモデルの両方をテストする
model_paths = [
    'onnx_models/model_opt.onnx',    # ONNXモデル
    'ort_models/model.ort'  # ORTフォーマットのモデル
]

# モデルごとに推論を実行
for model_path in model_paths:
    print(f'\n===== Using model: {model_path} =====')
    # モデルの拡張子を取得
    model_extension = os.path.splitext(model_path)[1]

    # モデルの読み込み
    if model_extension == '.ort':
        # ORTフォーマットのモデルをロード
        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
    else:
        # ONNXモデルをロード
        session = ort.InferenceSession(model_path)

    # 推論の実行
    outputs = session.run(None, dict(inputs))

    # 出力の形状を表示
    for idx, output in enumerate(outputs):
        print(f'Output {idx} shape: {output.shape}')

    # 結果の表示（必要に応じて処理を追加）
    print(outputs)
```

## モデルの内容
このリポジトリには、以下のモデルが含まれています。

### ONNXモデル
- `onnx_models/model.onnx`: [google-bert/bert-base-cased](https://huggingface.co/google-bert/bert-base-cased) から変換された元のONNXモデル
- `onnx_models/model_opt.onnx`: 最適化されたONNXモデル
- `onnx_models/model_fp16.onnx`: FP16による量子化モデル
- `onnx_models/model_int8.onnx`: INT8による量子化モデル
- `onnx_models/model_uint8.onnx`: UINT8による量子化モデル

### ORTモデル
- `ort_models/model.ort`: 最適化されたONNXモデルを使用したORTモデル
- `ort_models/model_fp16.ort`: FP16量子化モデルを使用したORTモデル
- `ort_models/model_int8.ort`: INT8量子化モデルを使用したORTモデル
- `ort_models/model_uint8.ort`: UINT8量子化モデルを使用したORTモデル

## 注意事項
元のモデル [google-bert/bert-base-cased](https://huggingface.co/google-bert/bert-base-cased) のライセンスおよび使用条件を遵守してください。

## 貢献
問題や改善点があれば、Issueを作成するかプルリクエストを送ってください。