FastGPT 使用vllm部署的qwen2,无法使用工具调用

sf6xfgos  于 4个月前  发布在  其他
关注(0)|答案(3)|浏览(67)

例行检查

  • [ x] 我已确认目前没有类似 issue
  • [ x] 我已完整查看过项目 README,以及 项目文档
  • [ x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈

我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • [x ] 私有部署版本, 具体版本号: 4.8.5

问题描述, 日志截图

复现步骤
vllm版本为0.4.3,部署qwen2-72B-instruction,使用工具调用知识库问答,出现参数格式不符合

预期结果
支持工具调用

相关截图

oknrviil

oknrviil1#

通过oneapi转发一下试试。

rur96b6h

rur96b6h2#

@lijiajun1997 是通过 oneapi 转发的,请问您能正常使用吗?

z4bn682m

z4bn682m3#

qwen2的返回格式跟1.5一样吗? 我使用oneapi调用ollama部署的qwen2也不行

相关问题