ollama 爱马仕3系列模型

sd2nnvve  于 3个月前  发布在  其他
关注(0)|答案(9)|浏览(79)
[https://huggingface.co/collections/NousResearch/hermes-3-66bd6c01399b14b08fe335ea](https://huggingface.co/collections/NousResearch/hermes-3-66bd6c01399b14b08fe335ea)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B) 
 [https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B) 
 [https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF) 
 [https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B-GGUF](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B-GGUF)
nx7onnlm

nx7onnlm2#

相关:#6390(工具调用格式似乎与Llama 3.1不同——可能需要对代码进行更改以支持hermes工具调用格式?)

cedebl8k

cedebl8k3#

更新模型标签以反映 #6390 的更改。

iugsix8n

iugsix8n4#

更新了模型标签,以反映#6390的变化。
hermes-3-llama-3.1:8b-q8_0存在无限输出问题。

x9ybnkn6

x9ybnkn65#

hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常,你使用的是哪个提示符?
你设置了任何参数或者更改了任何内容吗,还是一切都是默认的(例如,只是在控制台中使用 ollama run)?
这个问题只针对 Q8 量化器吗?

wxclj1h5

wxclj1h56#

hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常,你使用的是什么提示?你设置了哪些参数或者做了什么更改,还是一切都是默认的(例如在控制台中仅使用 ollama run)?这个问题只针对 Q8 量化器吗?
我在一个 RAG 流程中使用它。
这个问题只是偶尔发生。
这可能是模型本身的问题。

c0vxltue

c0vxltue7#

hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常,你使用的是什么提示?你设置了哪些参数或者做了什么更改,还是一切都是默认的(例如在控制台中仅使用 ollama run)?这个问题只针对 Q8 量化器吗?
经过测试,它在简单的问答中有时会重复之前的答案。

eyh26e7m

eyh26e7m8#

尝试了在上下文窗口内外的问答。两者都完美无缺。你是否更改/提供任何参数?会话之间是否清除上下文?

vatpfxk5

vatpfxk59#

添加那组模型有任何障碍吗?

相关问题