Update README.md
Browse files
README.md
CHANGED
|
@@ -28,6 +28,18 @@ June 28, 2023
|
|
| 28 |
|
| 29 |
Apache-2.0
|
| 30 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 31 |
## 使用方法
|
| 32 |
|
| 33 |
注意：このモデルでは、from_pretrainedメソッドにtrust_remote_code=Trueを渡す必要があります。
|
|
|
|
| 28 |
|
| 29 |
Apache-2.0
|
| 30 |
|
| 31 |
+
## 評価
|
| 32 |
+
|
| 33 |
+
[Jumtra/test_data_100QA](https://huggingface.co/datasets/Jumtra/test_data_100QA)を用いてモデルの正答率を評価した
|
| 34 |
+
|
| 35 |
+
| model name | 正答率 |
|
| 36 |
+
| ---- | ---- |
|
| 37 |
+
| mosaicml/mpt-7b | 16/100 |
|
| 38 |
+
| mosaicml/mpt-7b-instruct | 28/100 |
|
| 39 |
+
| Jumtra/mpt-7b-base | 47/100 |
|
| 40 |
+
| Jumtra/mpt-7b-inst | 46/100 |
|
| 41 |
+
|
| 42 |
+
|
| 43 |
## 使用方法
|
| 44 |
|
| 45 |
注意：このモデルでは、from_pretrainedメソッドにtrust_remote_code=Trueを渡す必要があります。
|