langchain4j [bug]zhipu sdk sse message cannot send uniform[BUG]

tquggr8v  于 4个月前  发布在  其他
关注(0)|答案(3)|浏览(36)

描述bug

我想询问一下,对于知否AI SDK,为什么在所有消息完全返回后还会推送消息(尽管是SSE消息,但所有消息几乎同时推送)?您能检查这里有什么问题吗?

日志和堆栈跟踪

重现步骤

运行 dev.langchain4j.model.zhipu.ZhipuAiStreamingChatModelIT#should_stream_answer

预期行为

SSE应该以恒定的速度返回,而不是一次性全部返回

请填写以下信息:

  • LangChain4j版本:0.28.0
  • 使用的LLM(s):知否SDK
  • Java版本:8
  • Spring Boot版本(如适用):
kg7wmglp

kg7wmglp2#

我找到了原因,在移除
if (builder.logResponses) { okHttpClientBuilder.addInterceptor(new ResponseLoggingInterceptor()); } sse 后,可以流式返回,否则所有响应会同时返回。

utugiqy6

utugiqy63#

我找到了原因,删除 if (builder.logResponses) { okHttpClientBuilder.addInterceptor(new ResponseLoggingInterceptor()); } sse 后可以流式返回,否则所有响应同时返回。
你好,我从当前客户端实现切换到了使用官方SDK,这个问题已经解决了。

相关问题