我终于知道是哪里出错了,问题出在# Modelfile上
https://decoder.sh/videos/importing-open-source-models-to-ollama
这才知道,之前没有把CausalLM的模版信息提供给Ollama
我们先删掉之前的模型:
ollama rm causallm7bdpo1:latest新的Modfile写进去
FROM "./downloads/causallm_7b-dpo-alpha.Q8_0.gguf"
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
TEMPLATE """
<|im_start|>system
{{ .System }}<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""ollama create causallm7bdpoQ8v1 -f Modelfile重新创建模型
