我一直与Kafka连接，Spark流，nifi与Kafka流数据。我知道，与其他技术不同，Kafka连接不是一个单独的应用程序，它是Kafka的一个工具。在分布式模式下，所有技术都通过底层任务或线程来实现并行性。是什么让Kafka在处理Kafka问题时变得高效？为什么称之为轻量级？
3xiyfsfu1#
它效率高、重量轻，因为它使用内置的kafka协议，不需要像yarn这样的外部系统。虽然可以说在mesos/kubernetes/docker中部署connect更好/更容易，但它不是必需的connectapi也由kafka的核心开发人员维护，而不是那些只想简单集成到另一个工具中的人。例如，上次我检查时，nifi无法访问kafka消息时间戳。与使用合流认证连接器相比，处理avro模式注册中心似乎是其他工具的后遗症
1条答案
按热度按时间3xiyfsfu1#
它效率高、重量轻，因为它使用内置的kafka协议，不需要像yarn这样的外部系统。虽然可以说在mesos/kubernetes/docker中部署connect更好/更容易，但它不是必需的
connectapi也由kafka的核心开发人员维护，而不是那些只想简单集成到另一个工具中的人。例如，上次我检查时，nifi无法访问kafka消息时间戳。与使用合流认证连接器相比，处理avro模式注册中心似乎是其他工具的后遗症