prsyahmi/malaysian-mistral-7b-32k-instructions-v2-ckpt-1700-GGUF

Malaysian Mistral 7B 32k Instructions - GGUF

• Model creator: mesolotica
• Original model: Malaysian Mistral 7B 32k Instructions v2

Pengenalan

Repo ini mengandungi model berformat GGUF untuk mesolitica's Malaysian Mistral 7B 32k Instructions v2.

GGUF adalah format kepada llama.cpp yang dibangunkan menggunakan C/C++ dimana pergantungan dengan software/library lain kurang menjadikan aplikasi ini ringan berbanding rata-rata aplikasi python.

Prompt template: Mistral

<s>[INST] {prompt} [/INST]

Fail yang diberikan

Nama	Kaedah Quant	Saiz Fail
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.Q2_K.gguf	Q2_K	2.86 GB
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.Q3_K_M.gguf	Q3_K_M	3.27 GB
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.Q4_K_S.gguf	Q4_K_S	3.86 GB
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.Q4_K_M.gguf	Q4_K_M	4.06 GB
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.Q5_K_M.gguf	Q5_K_M	4.77 GB
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.Q6_K.gguf	Q6_K	5.53 GB
malaysian-mistral-7b-32k-instructions-v2-ckpt-1700.fp16.gguf	FP16	13.5 GB

Penghargaan

Terima kasih kepada Husein Zolkepli dan keseluruhan team mesolotica!

Atas jasa mereka, kita dapat menggunakan atau mencuba AI peringkat tempatan.

---