one-api 阿里千问模型出现空回复

vawmfj5a  于 6个月前  发布在  其他
关注(0)|答案(7)|浏览(50)

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,尤其是常见问题部分
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

问题描述
今天更新后调用阿里千问的模型,出现空回复,日志里面也是空的

相关截图


![](//img.saoniuhuo.com/images/202407/54141721845457456.jpg)

![](//img.saoniuhuo.com/images/202407/65221721845457696.jpg)
o2g1uqev

o2g1uqev2#

system为空字符串或者user和assistant不是配对出现,会出现这种情况

jdgnovmf

jdgnovmf3#

是阿里云服务的问题吗?我也突然遇到了这种迷惑情况

pgky5nke

pgky5nke4#

这是否是阿里云服务的问题?我也突然遇到了这种困惑的情况。

不能说是问题,只是估计他们的规则就是这样的。如果system不为空,问答交替,就不会出现这种情况。在请求前进行数据检查就好。

z5btuh9x

z5btuh9x5#

已经解决了,是因为max_tokens设置不正确,需要小于2000。如果max_tokens大于2000,会报错,但是one-api输出了空内容。

yruzcnhs

yruzcnhs6#

已经解决了,是max_tokens设置不对,要小于2000。如果max_tokens大于2000,会报错,但是one-api输出了空内容。请问在哪里设置max_tokens?

wd2eg0qa

wd2eg0qa7#

已经解决了,是max_tokens设置不对,要小于2000。如果max_tokens大于2000,会报错,但是one-api输出了空内容。请问在哪里设置max_tokens?客户端。

相关问题