例行检查
- 我已确认目前没有类似 issue
- 我已完整查看过项目 README,以及 项目文档
- 我使用了自己的 key,并确认我的 key 是可正常使用的
- 我理解并愿意跟进此 issue,协助测试和提供反馈
- 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- 公有云版本
- 私有部署版本, 具体版本号:
xinference 0.13.0
oneapi 0.5.10
fastgpt 4.6.5
问题描述, 日志截图
使用xinference调用我本地部署的chatglm4-chat-9b时,不调用知识库的情况下多轮对话是正常的,但是调用的时候fastgpt会报错500,同时xinference后台报错ValueError: temperature (=0) has to be a strictly positive float, otherwise your next token scores will be invalid.If you're looking for greedy decoding strategies, set do_sample=False
. 我已经在glm4模型的配置文件、fastgpt的模型配置文件都分别设置了temperature为大于0的浮点值,但仍然有相同的报错
复现步骤
预期结果
相关截图
fastgpt后台截图:
xinference截图:
fastgpt高级编排截图:
3条答案
按热度按时间w1jd8yoj1#
想起来,问题补全默认温度是 0,后面调整一下
p4tfgftt2#
好的大佬,谢谢这么晚还能回答问题,那请问为什么之前我用别的模型可以正常进行问题补全,但是glm4却会报错呀
bakd9h0s3#
好的大佬,谢谢这么晚还能回答问题,那请问为什么之前我用别的模型可以正常进行问题补全,但是glm4却会报错呀
和他提示一样,不能设置 0。我看了眼代码,问题补全写死了 0