是否可以配置kafka connect的hdfs连接器,将几个单独的主题写入/组合到一个文件中?这些主题将包含具有相同avro模式的消息,我希望kafkanconnect充当这些kafka主题和hdf之间的中介。在最坏的情况下,主题内容可以在写入hdfs后进行组合,但是我觉得hdfs连接器应该可以提供更干净、更快的方式。
bttbmeg01#
现在hdfs连接器将把每个主题写入自己的目录。您可以在写入hdfs之后合并hdfs中的目录,或者在写入hdfs之前合并kafka中的主题,但是连接器本身不会这样做。
1条答案
按热度按时间bttbmeg01#
现在hdfs连接器将把每个主题写入自己的目录。您可以在写入hdfs之后合并hdfs中的目录,或者在写入hdfs之前合并kafka中的主题,但是连接器本身不会这样做。