grapevine-AI commited on
Commit
ab713ae
1 Parent(s): 6235380

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -8
README.md CHANGED
@@ -2,7 +2,7 @@
2
  license: gemma
3
  ---
4
  # What is this?
5
- Axcxepr(アクセプト)社のHODACHI氏によるgemma-2の日本語ファインチューニングモデル[EZO-Humanities-9B-gemma-2-it](https://huggingface.co/HODACHI/EZO-Humanities-9B-gemma-2-it)をGGUFフォーマットに変換したものです。
6
 
7
  # imatrix dataset
8
  日本語能力を重視し、日本語が多量に含まれる[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)データセットを使用しました。<br>
@@ -28,17 +28,14 @@ Axcxepr(アクセプト)社のHODACHI氏によるgemma-2の日本語ファ
28
  |bf16|22GB|
29
 
30
  # Note
31
- **llama.cpp-b3389以降と合わせてご利用ください。**<br>
32
- なお、このモデル特有の処理であるAttention logit soft-cappingが存在するため、現状では``-fa`` オプションによるFlash Attentionの使用はできません。
33
 
34
  # Environment
35
- Windows版llama.cpp-b3389およびllama.cpp-b3436同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
36
 
37
  # License
38
  gemma license
39
 
40
  # Developer
41
- Google & Axcxept co., ltd
42
-
43
- # Credit
44
- **This project utilizes HODACHI/EZO-Humanities-9B-gemma-2-it, a model based on gemma-2 and fine-tuned by Axcxept co., ltd.**
 
2
  license: gemma
3
  ---
4
  # What is this?
5
+ Axcxept(アクセプト)社のHODACHI氏によるgemma-2の日本語ファインチューニングモデル[EZO-Humanities-9B-gemma-2-it](https://huggingface.co/HODACHI/EZO-Humanities-9B-gemma-2-it)をGGUFフォーマットに変換したものです。
6
 
7
  # imatrix dataset
8
  日本語能力を重視し、日本語が多量に含まれる[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)データセットを使用しました。<br>
 
28
  |bf16|22GB|
29
 
30
  # Note
31
+ **llama.cpp-b3389以降でご利用が可能です。**<br>
32
+ なお、`-fa`オプションによる推論高速化に対応したllama.cpp-b3621以降の使用を推奨します。
33
 
34
  # Environment
35
+ Windows版llama.cpp-b3389およびllama.cpp-b3472同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
36
 
37
  # License
38
  gemma license
39
 
40
  # Developer
41
+ Google & Axcxept co., ltd