kafka主题与kafka连接到hdfs合并

fdx2calv  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(369)

是否可以配置kafka connect的hdfs连接器,将几个单独的主题写入/组合到一个文件中?
这些主题将包含具有相同avro模式的消息,我希望kafkanconnect充当这些kafka主题和hdf之间的中介。在最坏的情况下,主题内容可以在写入hdfs后进行组合,但是我觉得hdfs连接器应该可以提供更干净、更快的方式。

bttbmeg0

bttbmeg01#

现在hdfs连接器将把每个主题写入自己的目录。您可以在写入hdfs之后合并hdfs中的目录,或者在写入hdfs之前合并kafka中的主题,但是连接器本身不会这样做。

相关问题