例行检查
- [ x] 我已确认目前没有类似 issue
- [ x] 我已完整查看过项目 README,以及 项目文档
- [ x] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- 公有云版本
- [x ] 私有部署版本, 具体版本号: 4.8.5
问题描述, 日志截图
复现步骤
vllm版本为0.4.3,部署qwen2-72B-instruction,使用工具调用知识库问答,出现参数格式不符合
预期结果
支持工具调用
相关截图
3条答案
按热度按时间oknrviil1#
通过oneapi转发一下试试。
rur96b6h2#
@lijiajun1997 是通过 oneapi 转发的,请问您能正常使用吗?
z4bn682m3#
qwen2的返回格式跟1.5一样吗? 我使用oneapi调用ollama部署的qwen2也不行