我使用的是springkafka版本1.2.1,当kafka服务器关闭/无法访问时,asynchronoussend calls会阻塞一段时间。似乎是tcp超时。代码如下:
ListenableFuture<SendResult<K, V>> future = kafkaTemplate.send(topic, key, message);
future.addCallback(new ListenableFutureCallback<SendResult<K, V>>() {
@Override
public void onSuccess(SendResult<K, V> result) {
...
}
@Override
public void onFailure(Throwable ex) {
...
}
});
我快速地看了一下SpringKafka代码,它似乎只是将任务传递给kafka客户机库,将回调交互转换为未来的对象交互。看看kafka客户机库,代码变得更加复杂,我没有花时间去理解它,但我猜它可能在同一个线程中进行远程调用(至少是元数据?)。
作为一个用户,我期望返回未来的spring-kafka方法能够立即返回,即使远程kafka服务器无法访问。
任何确认,如果我的理解是错误的,或者这是一个错误将是欢迎的。现在我把它变成了异步的。
另一个问题是,SpringKafka文档一开始就说它提供了同步和异步发送方法。我找不到任何不返回未来的方法,可能文档需要更新。
如果需要的话,我很乐意提供更多的细节。谢谢。
5条答案
按热度按时间zfciruhq1#
下面的代码用于异步获取响应
7xzttuei2#
除了配置类上的@enableasync注解外,调用此代码时还需要在方法上使用@async注解。
http://www.baeldung.com/spring-async
这里有一些代码片段。Kafka制作人配置:
以及制作人本身:
jmp7cifd3#
只是想确定一下。是否应用了@enableasync注解?我想说的是,这可能是确定未来行为的关键
hts6caw34#
如果我看看Kafka制作人本身,传达信息有两个部分:
将消息存储到内部缓冲区中。
从缓冲区上传信息到Kafka。
kafkaproducer对于第二部分是异步的,而不是第一部分。
send()方法仍然可以在第一部分被阻止,并最终引发timeoutexceptions,例如:
主题的元数据没有缓存或过时,因此生产者尝试从服务器获取元数据,以了解主题是否仍然存在以及它有多少个分区。
缓冲区已满(默认为32mb)。
如果服务器完全没有响应,您可能会遇到这两个问题。
更新:
我在Kafka2.2.1中测试并确认了这一点。在2.4和/或2.6中,这种行为似乎有所不同:kafka-3720
f3temu5u5#
最好的解决方案是在生产者级别添加一个“回调”侦听器。