apepkuss79
commited on
Commit
•
6b1cec5
1
Parent(s):
859e9a6
Update README.md
Browse files
README.md
CHANGED
@@ -56,7 +56,7 @@ tags:
|
|
56 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen1.5-110B-Chat-Q2_K.gguf \
|
57 |
llama-api-server.wasm \
|
58 |
--prompt-template chatml \
|
59 |
-
--ctx-size
|
60 |
--model-name qwen1.5-110b-chat
|
61 |
```
|
62 |
|
@@ -65,7 +65,8 @@ tags:
|
|
65 |
```bash
|
66 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen1.5-110B-Chat-Q2_K.gguf \
|
67 |
llama-chat.wasm \
|
68 |
-
--prompt-template chatml
|
|
|
69 |
```
|
70 |
|
71 |
## Quantized GGUF Models
|
|
|
56 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen1.5-110B-Chat-Q2_K.gguf \
|
57 |
llama-api-server.wasm \
|
58 |
--prompt-template chatml \
|
59 |
+
--ctx-size 32000 \
|
60 |
--model-name qwen1.5-110b-chat
|
61 |
```
|
62 |
|
|
|
65 |
```bash
|
66 |
wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen1.5-110B-Chat-Q2_K.gguf \
|
67 |
llama-chat.wasm \
|
68 |
+
--prompt-template chatml \
|
69 |
+
--ctx-size 32000
|
70 |
```
|
71 |
|
72 |
## Quantized GGUF Models
|