你好，
这不是一个功能请求，而是我能选择的最佳类别。这实际上是关于合并PR以向Ollama的用户公开现有功能的疑问，这些功能被忽略或拒绝，没有良好的上下文。我提出这个问题是为了从Ollama团队那里获得更多关于语法特性的公共可见性，特别是那些在llama.cpp中实现和存在的。
我理解Ollama通过json模式功能来指导和控制模型的输出，另一种流行的方法是使用GBNF / 语法，这是目前在llama.cpp中支持和实现的。已经有几个PR提交了以便向Ollama用户公开这个功能，但它们要么处于闲置状态，要么被关闭。这个问题将继续浮出水面并制造噪音(今天在Discord上有一个很大的帮助线程开始),直到Ollama就这个问题发表明确的公开声明。如果Ollama作为一个产品决定不给用户这个选择，并且说如果你想使用或测试这个功能，它必须在Ollama之外完成，那么你需要让我们(社区)知道。如果社区在PR中公开这个功能的方式有问题，那么同样只是让我们知道，这样我们就可以修复它。我理解作为贡献者，很难理解为什么产品不想给用户更多的选择和选项，我认为Ollama需要清楚地说明为什么这个选择是出于产品的原因。
这不是一篇讨论GBNF和json之间哪种方法更好或更差的文章——而是澄清有社区需求在Ollama中使用这个功能，而Ollama显然正在根据我不得不假设的产品调用拒绝包含它。我希望这篇文章能结束所有相关方之间的这种不清晰，这样我们都知道Ollama的立场，作为社区我们可以停止提出这个问题并提交额外的PR。如果有人想开始一个更技术性的帖子并提供数据说明为什么一种方法比另一种更好，我欢迎你这样做并将其链接到这个主题。
我的简单个人例子是这样的。作为一个较新的Ollama用户，我实际上想要尝试两种方法，看看哪一种对我和我的产品更有效。现在在Ollama中，我实际上无法做到这一点，从外观上看(这可能是误导性的),似乎阻止我在Ollama中测试这两种方法的唯一代码更改是在llama.cpp中公开这个功能给我。(编辑:我注意到Ollama实际上在内部使用GBNF来强制执行json语法，所以真正缺少的是将这个功能暴露给最终用户以便自定义或使用不同的语法。)
可能还有更多，但为了参考，这里是一些关于这个主题的其他讨论链接以及今天早些时候在Discord上的线程链接。感谢Ollama团队花时间查看此问题并帮助与他们的未来回应保持一致。
Discord:
https://discord.com/channels/1128867683291627614/1236730825928741034
Github PRs:
#565
#830
#1606
#2404
#2754
#3303
#3618
#4525
#5348
Github Issues:
#808
#1507
#3616
#4074
#4370
#6002
3条答案
按热度按时间l3zydbqr1#
我目前使用llama.cpp来处理任何需要结构化输出的生产任务。我希望在Ollama中能看到这个功能。
7fyelxc52#
尽管Ollama的核心团队在我所看到的地方都没有令人沮丧地明确传达这一点，但我的感觉是，他们一直在等待OpenAI正式支持这个项目，以便尽可能与OpenAI API规范保持一致。因此，与这次对话最相关的链接可能是这个：https://openai.com/index/introducing-structured-outputs-in-the-api/
也许我们最终会在这方面取得一些进展。
q8l4jmvw3#
作为对这些PR表达兴趣的其中一人，我同意如果能从Ollama团队得到关于长时间未处理的PR的反馈会很好。即使是“没时间处理”也好过什么都没有。我能完全理解对于像Ollama这样成功的项目来说，几乎不可能对所有的活动做出React，所以也许你们可以使用里程碑来让其他人知道你们的优先事项。
正如@coder543所说，既然OpenAI现在支持这个功能，也许它将成为为了保持与OpenAI兼容性的“必须做”的功能，但我认为这次讨论很有趣。
非常感谢你们在这个项目上所做的工作！