Add ONNX and ORT models with quantization

.gitattributes

@@ -33,3 +33,7 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+ort_models/model.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_fp16.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_int8.ort filter=lfs diff=lfs merge=lfs -text
+ort_models/model_uint8.ort filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,85 @@
+---
+license: apache-2.0
+tags:
+- onnx
+- ort
+---
+
+# ONNX and ORT models with quantization of [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased)
+
+[日本語READMEはこちら](README_ja.md)
+
+This repository contains the ONNX and ORT formats of the model [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased), along with quantized versions.
+
+## License
+The license for this model is "apache-2.0". For details, please refer to the original model page: [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased).
+
+## Usage
+To use this model, install ONNX Runtime and perform inference as shown below.
+```python
+# Example code
+import onnxruntime as ort
+import numpy as np
+from transformers import AutoTokenizer
+import os
+
+# Load the tokenizer
+tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-large-uncased')
+
+# Prepare inputs
+text = 'Replace this text with your input.'
+inputs = tokenizer(text, return_tensors='np')
+
+# Specify the model paths
+# Test both the ONNX model and the ORT model
+model_paths = [
+    'onnx_models/model_opt.onnx',    # ONNX model
+    'ort_models/model.ort'  # ORT format model
+]
+
+# Run inference with each model
+for model_path in model_paths:
+    print(f'\n===== Using model: {model_path} =====')
+    # Get the model extension
+    model_extension = os.path.splitext(model_path)[1]
+
+    # Load the model
+    if model_extension == '.ort':
+        # Load the ORT format model
+        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
+    else:
+        # Load the ONNX model
+        session = ort.InferenceSession(model_path)
+
+    # Run inference
+    outputs = session.run(None, dict(inputs))
+
+    # Display the output shapes
+    for idx, output in enumerate(outputs):
+        print(f'Output {idx} shape: {output.shape}')
+
+    # Display the results (add further processing if needed)
+    print(outputs)
+```
+
+## Contents of the Model
+This repository includes the following models:
+
+### ONNX Models
+- `onnx_models/model.onnx`: Original ONNX model converted from [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased)
+- `onnx_models/model_opt.onnx`: Optimized ONNX model
+- `onnx_models/model_fp16.onnx`: FP16 quantized model
+- `onnx_models/model_int8.onnx`: INT8 quantized model
+- `onnx_models/model_uint8.onnx`: UINT8 quantized model
+
+### ORT Models
+- `ort_models/model.ort`: ORT model using the optimized ONNX model
+- `ort_models/model_fp16.ort`: ORT model using the FP16 quantized model
+- `ort_models/model_int8.ort`: ORT model using the INT8 quantized model
+- `ort_models/model_uint8.ort`: ORT model using the UINT8 quantized model
+
+## Notes
+Please adhere to the license and usage conditions of the original model [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased).
+
+## Contribution
+If you find any issues or have improvements, please create an issue or submit a pull request.

README_ja.md

@@ -0,0 +1,85 @@
+---
+license: apache-2.0
+tags:
+- onnx
+- ort
+---
+
+# [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased) のONNXおよびORTモデルと量子化モデル
+
+[Click here for the English README](README.md)
+
+このリポジトリは、元のモデル [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased) をONNXおよびORT形式に変換し、さらに量子化したものです。
+
+## ライセンス
+このモデルのライセンスは「apache-2.0」です。詳細は元のモデルページ（[google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased)）を参照してください。
+
+## 使い方
+このモデルを使用するには、ONNX Runtimeをインストールし、以下のように推論を行います。
+```python
+# サンプルコード
+import onnxruntime as ort
+import numpy as np
+from transformers import AutoTokenizer
+import os
+
+# トークナイザーの読み込み
+tokenizer = AutoTokenizer.from_pretrained('google-bert/bert-large-uncased')
+
+# 入力の準備
+text = 'ここに入力テキストを置き換えてください。'
+inputs = tokenizer(text, return_tensors='np')
+
+# 使用するモデルのパスを指定
+# ONNXモデルとORTモデルの両方をテストする
+model_paths = [
+    'onnx_models/model_opt.onnx',    # ONNXモデル
+    'ort_models/model.ort'  # ORTフォーマットのモデル
+]
+
+# モデルごとに推論を実行
+for model_path in model_paths:
+    print(f'\n===== Using model: {model_path} =====')
+    # モデルの拡張子を取得
+    model_extension = os.path.splitext(model_path)[1]
+
+    # モデルの読み込み
+    if model_extension == '.ort':
+        # ORTフォーマットのモデルをロード
+        session = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
+    else:
+        # ONNXモデルをロード
+        session = ort.InferenceSession(model_path)
+
+    # 推論の実行
+    outputs = session.run(None, dict(inputs))
+
+    # 出力の形状を表示
+    for idx, output in enumerate(outputs):
+        print(f'Output {idx} shape: {output.shape}')
+
+    # 結果の表示（必要に応じて処理を追加）
+    print(outputs)
+```
+
+## モデルの内容
+このリポジトリには、以下のモデルが含まれています。
+
+### ONNXモデル
+- `onnx_models/model.onnx`: [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased) から変換された元のONNXモデル
+- `onnx_models/model_opt.onnx`: 最適化されたONNXモデル
+- `onnx_models/model_fp16.onnx`: FP16による量子化モデル
+- `onnx_models/model_int8.onnx`: INT8による量子化モデル
+- `onnx_models/model_uint8.onnx`: UINT8による量子化モデル
+
+### ORTモデル
+- `ort_models/model.ort`: 最適化されたONNXモデルを使用したORTモデル
+- `ort_models/model_fp16.ort`: FP16量子化モデルを使用したORTモデル
+- `ort_models/model_int8.ort`: INT8量子化モデルを使用したORTモデル
+- `ort_models/model_uint8.ort`: UINT8量子化モデルを使用したORTモデル
+
+## 注意事項
+元のモデル [google-bert/bert-large-uncased](https://huggingface.co/google-bert/bert-large-uncased) のライセンスおよび使用条件を遵守してください。
+
+## 貢献
+問題や改善点があれば、Issueを作成するかプルリクエストを送ってください。

onnx_models/model.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:138dcb7d1d4fd4e42c44ed758593cc49cdf2d1fcebce36dbca401eadcbf15324
+size 1340995544

onnx_models/model_fp16.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4c36d9735e7cacc60eef8dd409999fe8a67c3d87a7828bae6156145774f70f01
+size 670783496

onnx_models/model_int8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:95449f414e35459b1de4926a27ba2a4b93fa6cbcfc079e6f68f63615475b9bf2
+size 336791929

onnx_models/model_opt.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0ae5405b93deb751870d94bf7563d2bd8a88768c0cf1a0f58b0d6c66b83ee31e
+size 1340944121

onnx_models/model_uint8.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:466fddb06dc82487552fe47279680e8f73edbcc0e13f71fe03617086f9e670f1
+size 336791999

ort_models/model.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8382162b1314c87fbf6552b7ddccc57e6a1d215a1735ae7d4abb866edfc5a4fb
+size 1341319064

ort_models/model_fp16.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:01adc4a16fe4e401158a712c7178ef9fd37d9694c2261d07b1417be6e9ac7a3b
+size 671862968

ort_models/model_int8.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:89cf1ce0f93261133eb09da2fb957eab7f8bfd9732033e8a123de5038aad177f
+size 337105440

ort_models/model_uint8.ort

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8729fd7b2d70061ed3a6c6b3bbbea2d3e9af87ac7468ca1b70835f14aaed0b6b
+size 337105440