如何将文件从hdfs目录及其子目录流式传输到kafka

ar5n3qh5  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(212)

带有json数据的avro文件每隔几分钟就会写入hdfs目录。例如,如果今天的日期是2020年1月26日,则将创建名为20200126的hdfs目录。然后在hdfs目录中会有很多子目录,从01到很多。每个子目录将有许多avro文件。
在hdfs中创建kafka主题后,如何将这些文件流式传输到该主题?阅读后我可以删除文件。
我怎样才能自动化这个流媒体?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题