在当前的llama.cpp主分支中,不支持pooler+dense结构的gguf模型导出。具体来说,原始模型的输出维度为1792,而当前转换模型输出维度为1024,这意味着仅包含了pooler部分的输出,而没有包含完整的pooler+dense结构。
@helonky 原来如此,那需要如何进行转换呢。
· Sign up or log in to comment