File size: 1,188 Bytes
21d9748 30629e8 21d9748 699c870 21d9748 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
---
language:
- zh
- en
tags:
- glm
- chatglm
- ggml
---
# ChatGLM3-6B-fp16
介绍 (Introduction)
ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-6b](https://github.com/THUDM/ChatGLM3)
用 [ChatGLM.CPP]() 基於 GGML quantize 生成 fp16 權重 weights 儲存於此倉庫。
## Performance
|Model |GGML quantize method| HDD size |1 token\*|
|----------------------|--------------------|----------|---------|
|chatglm3-ggml-f16.bin | f16 | 3.51 GB | 189ms |
\* ms/token (CPU @ Platinum 8260) from [reference](https://github.com/li-plus/chatglm.cpp#performance)
## Getting Started
1. Install dependency
```sh
pip install chatglm-cpp transformers
```
2. Download weight
```sh
wget https://huggingface.co/npc0/chatglm3-6b-fp16/resolve/main/chatglm3-ggml-f16.bin
```
3. Code
```py
import chatglm_cpp
pipeline = chatglm_cpp.Pipeline("./chatglm3-ggml-f16.bin")
pipeline.chat([chatglm_cpp.ChatMessage(role="user", content="你好")])
# Output: ChatMessage(role="assistant", content="你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。", tool_calls=[])
``` |