FastGPT 当xinference调用chatglm4-chat-9b进行知识库调用时,在问题补全的步骤中,xinference后台报错:ValueError: temperature (=0) 必须是一个严格的正浮点数,否则你的下一个标记分数将无效,如果你正在寻找贪婪解码策略,请设置 do_sample=False,

izj3ouym  于 6个月前  发布在  其他
关注(0)|答案(3)|浏览(74)

例行检查

  • 我已确认目前没有类似 issue
  • 我已完整查看过项目 README,以及 项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • 私有部署版本, 具体版本号:

xinference 0.13.0
oneapi 0.5.10
fastgpt 4.6.5

问题描述, 日志截图
使用xinference调用我本地部署的chatglm4-chat-9b时,不调用知识库的情况下多轮对话是正常的,但是调用的时候fastgpt会报错500,同时xinference后台报错ValueError: temperature (=0) has to be a strictly positive float, otherwise your next token scores will be invalid.If you're looking for greedy decoding strategies, set do_sample=False . 我已经在glm4模型的配置文件、fastgpt的模型配置文件都分别设置了temperature为大于0的浮点值,但仍然有相同的报错

复现步骤

预期结果
相关截图

fastgpt后台截图:

xinference截图:

fastgpt高级编排截图:

w1jd8yoj

w1jd8yoj1#

想起来,问题补全默认温度是 0,后面调整一下

p4tfgftt

p4tfgftt2#

好的大佬,谢谢这么晚还能回答问题,那请问为什么之前我用别的模型可以正常进行问题补全,但是glm4却会报错呀

bakd9h0s

bakd9h0s3#

好的大佬,谢谢这么晚还能回答问题,那请问为什么之前我用别的模型可以正常进行问题补全,但是glm4却会报错呀
和他提示一样,不能设置 0。我看了眼代码,问题补全写死了 0

相关问题