我使用spark streaming从kafka读取数据（使用kafka direct stream api）。一个流示例化了多少kafka消费者？Kafka消费者的数量等于遗嘱执行人的数量吗？每个执行器是否示例化一个kafka消费者（具有相同的组id）？
sulc1iza1#
使用直接方法时，消费者的数量将与kafka分区的数量完全相同：kafka 0.10的spark流集成在设计上与0.8直接流方法类似。它提供了简单的并行性，kafka分区和spark分区之间的1:1对应关系，以及对偏移量和元数据的访问并且为每个分区初始化单独的使用者。
1条答案
按热度按时间sulc1iza1#
使用直接方法时，消费者的数量将与kafka分区的数量完全相同：
kafka 0.10的spark流集成在设计上与0.8直接流方法类似。它提供了简单的并行性，kafka分区和spark分区之间的1:1对应关系，以及对偏移量和元数据的访问
并且为每个分区初始化单独的使用者。