Tanuki-8B-dpo-v1.0-GGUF

概要

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8B-dpo-v1.0のGGUF量子化モデルです。
imatrixの計算にはWikitext-JAを用いています。

注意

このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があり、性能低下が発生している恐れがあります。
そのため、他の形式の量子化モデルの利用を推奨いたします。

モデルに関する詳細については元モデルをご確認ください。

Downloads last month
1,966
GGUF
Model size
7.51B params
Architecture
llama

1-bit

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

16-bit

Inference API
Unable to determine this model's library. Check the docs .

Model tree for team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GGUF

Quantized
(5)
this model