例行检查
4.7用kimi,如果引用上限设置超过2000,就会报错。低于就可以输出。而且不能设置混合搜索,也会报错。想问下这个能够提高?谢谢
cxfofazt1#
模型问题,API 不叫 kimi,而是叫做 moonshot。8k、32k 和 128k 都能正常使用,回复上限均为 4096。不知道你使用的是哪个。
qjp7pelc2#
是我自己用oneapi连接的moonshot,并在设置文档中,加载了对应的“sk-***”,问题是moonshot其实能接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错,2000以下有的时候没问题,可以正常解析知识库,有的时候也会出错。似乎是如果输入的提示词,会要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上,是直接报错,没有悬念。
k10s72fa3#
您好,我理解您的问题是关于使用oneapi连接moonshot并在设置文档中加载对应的“sk-***”时遇到的问题。根据您提供的信息,似乎是如果输入的提示词会要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上是直接报错,没有悬念。
如果您在使用fastgpt时遇到了问题,可以尝试检查one-api的网络设置,将Fastgpt的OPENAI_BASE_URL指向正确IP,以及重新创建容器运行。
anauzrmj4#
因为原本我调试了一天都是在oneapi可以测试通过,但到fastgpt就失败。然后偶然间,我看到之前issue说谁max_token设置超过2000,所以失败,一看果然是这个原因。但也不稳定。其实我是想用moonshot的大上下文文本的能力,增加在知识库中一次遍历的内容,使得输出的内容更准确,但现在这样,就无法实现了。
9q78igpj5#
是我自己使用oneapi连接的moonshot,并在设置文档中加载了对应的“sk-***”。问题在于,尽管moonshot实际上可以接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错。而2000以下有时候没有问题,可以正常解析知识库,有时候也会出错。
似乎是输入的提示词要求调用更多的知识库内容,超过一定额度就会报错。但2000以上则是直接报错,没有悬念。
命中风控了?应该不是违禁词类似的,都是非常简单的内容总结。比如我说“总结3条”,他能过;如果改成“总结10条”,他就报response的错误了。
q8l4jmvw6#
是我自己使用oneapi连接的moonshot,并在设置文档中加载了对应的“sk-***”。问题在于,尽管moonshot实际上可以接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错。而2000以下有时候没问题,可以正常解析知识库,有时候也会出错。似乎是如果输入的提示词要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上则是直接报错,没有悬念。
命中风控了?应该不是违禁词类似的,都是非常简单的内容总结。比如我说“总结3条”,他能过;如果改成“总结10条”,他就报response的错误了。你用非stream模式测测会有结果(debug模式),oneapi stream模式无法捕获这些错误。
6条答案
按热度按时间cxfofazt1#
模型问题,API 不叫 kimi,而是叫做 moonshot。8k、32k 和 128k 都能正常使用,回复上限均为 4096。不知道你使用的是哪个。
qjp7pelc2#
是我自己用oneapi连接的moonshot,并在设置文档中,加载了对应的“sk-***”,问题是moonshot其实能接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错,2000以下有的时候没问题,可以正常解析知识库,有的时候也会出错。
似乎是如果输入的提示词,会要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上,是直接报错,没有悬念。
k10s72fa3#
您好,我理解您的问题是关于使用oneapi连接moonshot并在设置文档中加载对应的“sk-***”时遇到的问题。根据您提供的信息,似乎是如果输入的提示词会要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上是直接报错,没有悬念。
如果您在使用fastgpt时遇到了问题,可以尝试检查one-api的网络设置,将Fastgpt的OPENAI_BASE_URL指向正确IP,以及重新创建容器运行。
anauzrmj4#
因为原本我调试了一天都是在oneapi可以测试通过,但到fastgpt就失败。
然后偶然间,我看到之前issue说谁max_token设置超过2000,所以失败,一看果然是这个原因。但也不稳定。
其实我是想用moonshot的大上下文文本的能力,增加在知识库中一次遍历的内容,使得输出的内容更准确,但现在这样,就无法实现了。
9q78igpj5#
是我自己使用oneapi连接的moonshot,并在设置文档中加载了对应的“sk-***”。问题在于,尽管moonshot实际上可以接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错。而2000以下有时候没有问题,可以正常解析知识库,有时候也会出错。
似乎是输入的提示词要求调用更多的知识库内容,超过一定额度就会报错。但2000以上则是直接报错,没有悬念。
命中风控了?
应该不是违禁词类似的,都是非常简单的内容总结。比如我说“总结3条”,他能过;如果改成“总结10条”,他就报response的错误了。
q8l4jmvw6#
是我自己使用oneapi连接的moonshot,并在设置文档中加载了对应的“sk-***”。问题在于,尽管moonshot实际上可以接收至少上万的token,但在fastgpt的参数设置中,如果我将引用参数调到2000以上,会直接报错。而2000以下有时候没问题,可以正常解析知识库,有时候也会出错。似乎是如果输入的提示词要求调用更多的知识库内容,超过一定额度,就会报错。但2000以上则是直接报错,没有悬念。
命中风控了?
应该不是违禁词类似的,都是非常简单的内容总结。比如我说“总结3条”,他能过;如果改成“总结10条”,他就报response的错误了。你用非stream模式测测会有结果(debug模式),oneapi stream模式无法捕获这些错误。