如果LLM以带反引号的JSON Package 并/或附加文本作为响应，请尝试提取该内容而不是失败
(可配置)在解析失败的情况下重试，将错误反馈给LLM
如果AI服务的返回类型是POJO且底层LLM支持，则自动启用JSON模式
如果返回类型是枚举/布尔值，则在LLM支持的情况下自动使用logitBias
考虑将函数调用作为结构化输出的第二种选择
考虑使用现有库生成/验证JSON模式
如果LLM以带反引号的JSON Package 并/或附加文本作为响应，请尝试提取该内容而不是失败
(可配置)在解析失败的情况下重试，将错误反馈给LLM
如果AI服务的返回类型是POJO且底层LLM支持，则自动启用JSON模式
如果返回类型是枚举/布尔值，则在LLM支持的情况下自动使用logitBias
考虑将函数调用作为结构化输出的第二种选择
考虑使用现有库生成/验证JSON模式
5条答案
按热度按时间gkn4icbw1#
你好，
使用ChatGPT开发的和测试的解析输出模板，对吗？像Llama这样的开放LLMs在回答中非常冗长。
此致
感谢这个令人惊叹的项目。
9fkzdhlc2#
是的，大多数高级功能都是在至少考虑了
gpt-3.5-turbo级别的LLM的情况下开发的。但是现在当我们在Ollama中有了llama3/mixtral/等以及json模式时，它应该对大多数用例都很好。但我们仍然需要实现这个PR,以确保长尾的边缘情况得到很好的处理。vjhs03f73#
相关： #1087
w51jfk4q4#
相关： #786
evrscar25#
如果有人遇到这个问题，请暂时启用LLM的json模式。