Tifa-DeepsexV2-7b 在 Ollama 中回复内容异常/无法停止/无效的终止
遇到的问题：
Tifa-DeepsexV2-7b 在 Ollama 中回复内容大概率异常（无法停止/无效的终止/在思考前回复），相同的配置在Tifa-Deepsex-14b (COT/Chat/Crazy)中运行正常。
Ollama Console测试：
Example 1 : 模型回复无法停止，始终在Thinking标签循环。
模型回复无法停止,但是没有处于Thinking阶段
Example 2 : 模型带有无效的终止符
Example 3 : 模型在思考前回复
OpenWebUI连接至Ollama，SYSTEM Prompt覆盖测试(CTX 4K/8K)：
Example: 模型在思考前回复且回复无法停止
软件/硬件环境：
Windows 11 v10.0.22631.4602
Ollama v0.5.11
Nvidia 1060 Mobile(SurfaceBook2)/ Nvidia 4090 Mobile (Rog Strix 2023)
已测试参数配置：
使用 Ollama 在 Windows中测试该模型 Tifa-DeepsexV2-7b-Q4_KM.gguf/Tifa-DeepsexV2-7b-Q8.gguf 参考该链接进行配置 https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT/blob/main/ollama%E5%AF%BC%E5%85%A5%E9%85%8D%E7%BD%AE%E5%8F%82%E8%80%83.mf
分别多次测试了参数： 【num_ctx=4K/8K/32K/64K】 【temperature=0.65-1】 【top_p=0.6-0.9】
完整的Ollama makefile配置如下：
FROM E:\ollama\original_models\Tifa-DeepsexV2-7b-Q8.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop "<｜begin▁of▁sentence｜>"
PARAMETER stop "<｜end▁of▁sentence｜>"
PARAMETER stop "<｜User｜>"
PARAMETER stop "<｜Assistant｜>"
PARAMETER temperature 0.65
PARAMETER top_p 0.6
#PARAMETER num_ctx 4096
#PARAMETER num_ctx 8192
#PARAMETER num_ctx 16384
#PARAMETER num_ctx 32768
PARAMETER num_ctx 65535
#PARAMETER num_gpu 512
SYSTEM """
你进入角色扮演模式，你将扮演海绵宝宝，说话风格思想都是符合海绵宝宝，你将完全沉浸在这个角色中，请勿代替用户回复。需要体现人物的气质加入环境描写并保持对话风格。在做任何回答之前请进行深度思考。
"""
