例行检查
- 我已确认目前没有类似 issue
- 我已确认我已升级到最新版本
- 我已完整查看过项目 README,尤其是常见问题部分
- 我理解并愿意跟进此 issue,协助测试和提供反馈
- 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭
问题描述
使用最新release 0.65 docker 部署，已经使用快一个月了，其中添加了多个第三方api,添加了deepseek官方api,一直正常，大部分都是通过模型重定向来使用的。今日添加了通义千问，模型重定向 "gpt-3.5-turbo-0125": "qwen-long"。使用nextchat发起对话，不知道什么情况下，会触发空请求，对话返回如下，one-api中日志显示如下。同时，在终端中测试直接访问通义千问官方api,如下正常。next-chat中测试不知道什么情况下触发。但是我同时还在使用一个安卓第三方app,使用其他模型都正常，但是这个重定向的模型，必现，抓包看也没什么异常。但是响应确实是空的。
复现步骤：使用这个第三方app必现，next-chat有几率出现。
预期结果：
相关截图：如果没有的话，请删除此节。
7条答案
按热度按时间1zmg4dgp1#
经过测试，通义千问兼容性存在问题。这些参数在客户端发起时，在openai/deepseek上都是正常的，但是放到通义千问上会报错。如果删除"frequency_penalty":0.0,"max_tokens":2048,"presence_penalty":0.0,"top_p":1.0这些参数，就正常了。
jexiocij2#
我也遇到这个问题
lx0bsm1f3#
可以试试：higress : alibaba/higress#1023
pkmbmrz74#
阿里云代理的零一万物、百川2等大模型上都存在类似的空请求bug,dashscope提供的openai兼容API似乎也存在。
zte4gxcn5#
可以尝试使用higress实现的OpenAI协议兼容，纯流式的。function call也是流式的，不是直接使用dashscope的兼容API,应该没有类似问题。
kuhbmx9i6#
在平常使用的Windows工作机上，使用docker compose部署失败，仍然出现fetch failed的情况，偶尔还会遇到higress相关issue里的其他问题。
efzxgjgh7#
@KagaJiankui 如果有具体问题，请在这里发布：alibaba/higress#1023