嗨，伙计们，
我尝试在Ollama上使用leo-hessianai-7B模型。我使用了GGUF文件(从这里获取的Q4_K_M.gguf https://huggingface.co/TheBloke/leo-hessianai-7B-GGUF/tree/main )并遵循了Ollama的说明( https://github.com/ollama/ollama/blob/main/docs/import.md )。我已经成功地使用该模型生成了答案，但它们非常错误且具有幻觉性(你可以说它们很疯狂)。不幸的是，我不知道自己做错了什么。我假设参数或模板(在为Ollama创建的Modelfile中)不正确。
希望你们能帮助我解决这个问题。
我尝试了以下Modelfiles:
FROM ./leo-hessianai-7b.Q4_K_M.gguf
TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """"""
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>FROM ./leo-hessianai-7b.Q4_K_M.gguf
TEMPLATE "[INST] {{ .Prompt }} [/INST]"(当我使用这个仓库中的safetensors并使用Ollama工具转换和量化模型时，同样出现了问题。)
--> 所以如果leo-hessianai-7B 、 leo-hessianai-13B 和 leo-hessianai-70B 能够添加到Ollama中就太好了 - 在https://huggingface.co/LeoLM 找到这些模型。
2条答案
按热度按时间56lgkhnf1#
我在使用Ollama时遇到了相同的问题。在HuggingFace,模板被提供为一个ChatML提示模板，如您上面所示。我尝试了不同的方式格式化模型文件，但总是得到令人困惑的结果。似乎它正在泄露训练数据。
您找到了解决方案吗？还有其他人知道如何使其正常工作吗？非常感谢您的帮助！
5gfr0r5j2#
你好，很遗憾，我没有找到解决方案。我的Discord请求以及在https://huggingface.co/LeoLM/leo-hessianai-7b-chat/discussions/7上提出的问题还没有得到回答。