one-api ollama部署qwen2:7b api调用报错

erhoui1w  于 5个月前  发布在  其他
关注(0)|答案(5)|浏览(63)

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README,尤其是常见问题部分
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

问题描述
使用 ollama 本地部署 qwen2:7b,one-api 测试成功,使用 next-chat 对话时出现报错:
{
"error": true,
"message": "empty response from server"
}
one-api 日志报错:
[SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value [SYS] 2024/07/13 - 14:48:42 | error unmarshalling stream response: invalid character '}' after top-level value

复现步骤

预期结果

相关截图

f0ofjuux

f0ofjuux1#

降低版本到0.6.6或以下版本可以解决。

1sbrub3j

1sbrub3j2#

降低版本到0.6.6或以下版本可以解决。
确实是的,降级就好了,这个问题太。。。。

zfciruhq

zfciruhq3#

确实,不知道后续版本能否修复这个问题:
one-api | [SYS] 2024/07/19 - 01:49:29 | One API v0.6.8-alpha.5 已启动

目前已返回 6.6 版本:

dsekswqp

dsekswqp4#

将版本降低到0.6.6或更低版本可以解决这个问题。前几天退到0.67版本时,可以正常调用。这个问题确实有点奇怪。

jmo0nnb3

jmo0nnb35#

已解决,渠道类型不需要使用 ollama,而是选择自定义类型即可避免上述报错。当前版本使用的是v0.6.8-alpha.6,无需回退版本。

相关问题