我对Kafka的世界还很陌生。我们有一个要求,来自amazons3的一堆文件(protobuf格式)必须被处理并转储到oracledb中。所以我们要使用Kafka/合流平台。下面是我一直在考虑的方法,
使用amazonsdk构建java应用程序来从s3中提取文件(因为s3源代码连接器获得了许可,所以为了poc,我们将使用java应用程序)
注意:在这里我们可能会得到更多的文件,所以我们可能最终创建批处理应用程序,这将由java应用程序触发
处理数据并生成Kafka消息
使用db接收器连接器存储在db中
有人能分享你的意见和建议吗?
暂无答案!
目前还没有任何答案,快来回答吧!