我想配置一个flume flow，使其接收CSV文件作为源，检查数据，并在HDFS中按年/月动态地将每行数据分隔到文件夹中。
h5qlskok1#
我建议你考虑使用Nifi，我觉得它是Flume的天然替代品。话虽如此，您似乎需要考虑使用假脱机目录源和配置单元接收器（而不是hdfs）。配置单元分区（按年/月分区）将使您能够以您建议的方式来放置数据。
1条答案
按热度按时间h5qlskok1#
我建议你考虑使用Nifi，我觉得它是Flume的天然替代品。
话虽如此，您似乎需要考虑使用假脱机目录源和配置单元接收器（而不是hdfs）。配置单元分区（按年/月分区）将使您能够以您建议的方式来放置数据。