我不清楚是否有某种插件可以使用kafka主题中的数据并将它们插入s3。
我已经找到了这个主题，但我还不能解决这个问题，有这个项目，但老实说是很难使用，因为最后提交是从2年前。
我的主要目标是直接从Kafka消费来激发工作，但我认为这可能有点复杂，所以如果能用Kafka的事件片段填充s3对我来说就足够了。
另外，scala中有没有消费者的例子？这有点可笑，因为kafka是用scala构建的，但是文档代码是java=p
谢谢你的帮助
更新时间：
加缪可能也是一个选择
我不清楚是否有某种插件可以使用kafka主题中的数据并将它们插入s3。
我已经找到了这个主题，但我还不能解决这个问题，有这个项目，但老实说是很难使用，因为最后提交是从2年前。
我的主要目标是直接从Kafka消费来激发工作，但我认为这可能有点复杂，所以如果能用Kafka的事件片段填充s3对我来说就足够了。
另外，scala中有没有消费者的例子？这有点可笑，因为kafka是用scala构建的，但是文档代码是java=p
谢谢你的帮助
更新时间：
加缪可能也是一个选择
2条答案
按热度按时间enxuqcxy1#
streamx公司(https://github.com/qubole/streamx)它基于kafka连接框架，能够将kafka中的数据可靠地复制到s3中。它功能丰富，支持多种输出格式和不同的分区机制。
enyaitl32#
pinterest的这个工具对我来说是完美的答案。
塞科