我计划使用amazonmsk，我想把用户日志转储到s3。但我看不到任何选择。我是否需要编写自己的消费者，或者有没有一种方法可以将amazonmsk消费者输出直接消费到s3？
dvtswwa31#
kafka connect通常是在kafka和下游（和上游）系统（如s3）之间获取数据的最佳方式（最简单/可扩展/可移植/有弹性）。了解更多关于Kafka连接在这里和在这里的谈话。由于msk不提供kafka connect，所以您可以选择运行自己的kafka connect worker（连接到msk）并使用s3接收器连接器（教程）。值得注意的是，其他云提供商提供的完整解决方案不仅包括托管apache-kafka，还包括托管kafka-connect，比如合流云，如本文所示。免责声明：我为confluent工作：-）
zzoitvuj2#
没有一个直接的方法可以从msk做到这一点。您可以使用外部消费者来完成，或者最好在与msk相同的vpc中的ec2中使用kafkaconnect。无论哪种方式，您都需要考虑高可用性和数据传输成本。对于ha，使用不同AZ中的消费者。对于成本，请使用msk 2.4.1，它允许使用者从最近的副本获取数据。
2条答案
按热度按时间dvtswwa31#
kafka connect通常是在kafka和下游（和上游）系统（如s3）之间获取数据的最佳方式（最简单/可扩展/可移植/有弹性）。了解更多关于Kafka连接在这里和在这里的谈话。
由于msk不提供kafka connect，所以您可以选择运行自己的kafka connect worker（连接到msk）并使用s3接收器连接器（教程）。
值得注意的是，其他云提供商提供的完整解决方案不仅包括托管apache-kafka，还包括托管kafka-connect，比如合流云，如本文所示。
免责声明：我为confluent工作：-）
zzoitvuj2#
没有一个直接的方法可以从msk做到这一点。您可以使用外部消费者来完成，或者最好在与msk相同的vpc中的ec2中使用kafkaconnect。
无论哪种方式，您都需要考虑高可用性和数据传输成本。对于ha，使用不同AZ中的消费者。对于成本，请使用msk 2.4.1，它允许使用者从最近的副本获取数据。