FastGPT 如果使用kimi,并且引用上限设置超过2000,就会报错,

dsekswqp  于 5个月前  发布在  其他
关注(0)|答案(6)|浏览(61)

例行检查

  • 我已确认目前没有类似问题
  • 我已完整查看过项目 README,以及 项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • 我理解并愿意跟进此问题,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的问题可能会被无视或直接关闭
    你的版本

4.7
用kimi,如果引用上限设置超过2000,就会报错。低于就可以输出。
而且不能设置混合搜索,也会报错。
想问下这个能够提高?谢谢

cxfofazt

cxfofazt1#

模型问题,API 不叫 kimi,而是叫做 moonshot。8k、32k 和 128k 都能正常使用,回复上限均为 4096。不知道你使用的是哪个。

qjp7pelc

qjp7pelc2#

是我自己用oneapi连接的moonshot,并在设置文档中,加载了对应的“sk-***”,问题是moonshot其实能接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错,2000以下有的时候没问题,可以正常解析知识库,有的时候也会出错。
似乎是如果输入的提示词,会要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上,是直接报错,没有悬念。

k10s72fa

k10s72fa3#

您好,我理解您的问题是关于使用oneapi连接moonshot并在设置文档中加载对应的“sk-***”时遇到的问题。根据您提供的信息,似乎是如果输入的提示词会要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上是直接报错,没有悬念。

如果您在使用fastgpt时遇到了问题,可以尝试检查one-api的网络设置,将Fastgpt的OPENAI_BASE_URL指向正确IP,以及重新创建容器运行。

anauzrmj

anauzrmj4#

因为原本我调试了一天都是在oneapi可以测试通过,但到fastgpt就失败。
然后偶然间,我看到之前issue说谁max_token设置超过2000,所以失败,一看果然是这个原因。但也不稳定。
其实我是想用moonshot的大上下文文本的能力,增加在知识库中一次遍历的内容,使得输出的内容更准确,但现在这样,就无法实现了。

9q78igpj

9q78igpj5#

是我自己使用oneapi连接的moonshot,并在设置文档中加载了对应的“sk-***”。问题在于,尽管moonshot实际上可以接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错。而2000以下有时候没有问题,可以正常解析知识库,有时候也会出错。

似乎是输入的提示词要求调用更多的知识库内容,超过一定额度就会报错。但2000以上则是直接报错,没有悬念。

命中风控了?
应该不是违禁词类似的,都是非常简单的内容总结。比如我说“总结3条”,他能过;如果改成“总结10条”,他就报response的错误了。

q8l4jmvw

q8l4jmvw6#

是我自己使用oneapi连接的moonshot,并在设置文档中加载了对应的“sk-***”。问题在于,尽管moonshot实际上可以接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错。而2000以下有时候没问题,可以正常解析知识库,有时候也会出错。似乎是如果输入的提示词要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上则是直接报错,没有悬念。

命中风控了?
应该不是违禁词类似的,都是非常简单的内容总结。比如我说“总结3条”,他能过;如果改成“总结10条”,他就报response的错误了。你用非stream模式测测会有结果(debug模式),oneapi stream模式无法捕获这些错误。

相关问题