描述bug
我想询问一下,对于知否AI SDK,为什么在所有消息完全返回后还会推送消息(尽管是SSE消息,但所有消息几乎同时推送)?您能检查这里有什么问题吗?
日志和堆栈跟踪
重现步骤
运行 dev.langchain4j.model.zhipu.ZhipuAiStreamingChatModelIT#should_stream_answer
预期行为
SSE应该以恒定的速度返回,而不是一次性全部返回
请填写以下信息:
- LangChain4j版本:0.28.0
- 使用的LLM(s):知否SDK
- Java版本:8
- Spring Boot版本(如适用):
3条答案
按热度按时间xjreopfe1#
cc @1402564807
kg7wmglp2#
我找到了原因,在移除
if (builder.logResponses) { okHttpClientBuilder.addInterceptor(new ResponseLoggingInterceptor()); }
sse 后,可以流式返回,否则所有响应会同时返回。utugiqy63#
我找到了原因,删除
if (builder.logResponses) { okHttpClientBuilder.addInterceptor(new ResponseLoggingInterceptor()); }
sse 后可以流式返回,否则所有响应同时返回。你好,我从当前客户端实现切换到了使用官方SDK,这个问题已经解决了。