[https://huggingface.co/collections/NousResearch/hermes-3-66bd6c01399b14b08fe335ea](https://huggingface.co/collections/NousResearch/hermes-3-66bd6c01399b14b08fe335ea)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B-GGUF](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B-GGUF)
9条答案
按热度按时间wsewodh21#
获取了一些8B和70B的量化器:https://ollama.com/finalend/hermes-3-llama-3.1
nx7onnlm2#
相关:#6390(工具调用格式似乎与Llama 3.1不同——可能需要对代码进行更改以支持hermes工具调用格式?)
cedebl8k3#
更新模型标签以反映 #6390 的更改。
iugsix8n4#
更新了模型标签,以反映#6390的变化。
hermes-3-llama-3.1:8b-q8_0存在无限输出问题。
x9ybnkn65#
hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常,你使用的是哪个提示符?
你设置了任何参数或者更改了任何内容吗,还是一切都是默认的(例如,只是在控制台中使用
ollama run
)?这个问题只针对 Q8 量化器吗?
wxclj1h56#
hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常,你使用的是什么提示?你设置了哪些参数或者做了什么更改,还是一切都是默认的(例如在控制台中仅使用
ollama run
)?这个问题只针对 Q8 量化器吗?我在一个 RAG 流程中使用它。
这个问题只是偶尔发生。
这可能是模型本身的问题。
c0vxltue7#
hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常,你使用的是什么提示?你设置了哪些参数或者做了什么更改,还是一切都是默认的(例如在控制台中仅使用
ollama run
)?这个问题只针对 Q8 量化器吗?经过测试,它在简单的问答中有时会重复之前的答案。
eyh26e7m8#
尝试了在上下文窗口内外的问答。两者都完美无缺。你是否更改/提供任何参数?会话之间是否清除上下文?
vatpfxk59#
添加那组模型有任何障碍吗?