minio自定义源代码

khbbv19g  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(403)

我会尽量简洁。我想将数据从minio服务器移动到hdfs集群。通过阅读cloudera文档,我了解到可以使用flume将实时数据流传输到hbase。我在这个领域有点新手,所以,如果我没弄错的话,我想实现的目标可以通过:
sensor->minio(临时存储)->flume->hbase->hadoop/spark计算集群。
除了这种方法是否经过优化这一事实之外,我遇到的问题在于apacheflume配置。
我在看文件(https://flume.apache.org/flumeuserguide.html#custom-源代码),我想将minio服务器作为源代码连接到apacheflume,但据我所知,没有将minio连接到flume的本地方法。所以我假设需要一个自定义源。
问题是,我完全不知道在通道、类型、选择器或拦截器类型上需要哪些值来连接minio作为源。
感谢您花时间和精力阅读这篇文章。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题