Model InternVLChatModel is not supported
#2
by
indychou
- opened
請問使用 convert_hf_to_gguf.py 轉換為 GGUF 會導致報錯。
INFO:hf-to-gguf:Loading model: llama-beeze2-8b-instruct
ERROR:hf-to-gguf:Model InternVLChatModel is not supported
能指點迷津嗎?
llamacpp的轉換程式還未支援此格式
https://github.com/ggml-org/llama.cpp/discussions/11768
請問有其他的解法嗎? 感謝
用vllm以BitsAndBytes在線量化的方式運行，不過運行參數有點難調整
https://docs.vllm.ai/en/latest/features/quantization/bnb.html