Kafka和Kafka有什么区别吗。如果有的话,什么时候应该用一个代替另一个,有什么好处?
68bkxrlz1#
kafka direct是一种优化,它提供了更好的容错保证和更强的可靠性。park 1.2引入了预写日志。它确保从任何可靠数据源(即flume、kafka和kinesis等事务源)接收到的数据不会因故障而丢失(即至少一次)。即使对于不可靠的(即非事务性的)源(如普通的旧套接字),它也能最大限度地减少数据丢失。请参阅此链接以更好地了解
zz2j4svz2#
新的kafka直接api–这允许每个kafka记录在发生故障时只处理一次,而不使用预写日志。这使得spark streaming+kafka管道更高效,同时提供更强的容错保证。
2条答案
按热度按时间68bkxrlz1#
kafka direct是一种优化,它提供了更好的容错保证和更强的可靠性。
park 1.2引入了预写日志。它确保从任何可靠数据源(即flume、kafka和kinesis等事务源)接收到的数据不会因故障而丢失(即至少一次)。即使对于不可靠的(即非事务性的)源(如普通的旧套接字),它也能最大限度地减少数据丢失。请参阅此链接以更好地了解
zz2j4svz2#
新的kafka直接api–这允许每个kafka记录在发生故障时只处理一次,而不使用预写日志。这使得spark streaming+kafka管道更高效,同时提供更强的容错保证。