我有一个场景，其中我的kafka消息（来自同一主题）通过一个浓缩管道，并在最后写入hdfs和mongodb。我的Kafka消费者的hdfs将运行每小时为基础（微批处理）。因此，我需要知道将流文件路由到puthdfs和putmango的最佳方法，该方法基于流文件来自哪个使用者（用于hdfs的使用者或用于mongo db的使用者）。或者，请建议是否有任何其他方法，通过nifi实现微配料。谢谢
4sup72z81#
您可以将nifi设置为对上载数据的处理器使用调度策略。我想你应该希望kafka的消费者总是读取数据，在nifi中建立一个流文件的积压，然后让puts以较少的频率运行。这类似于kafka connect为其hdfs连接器运行的方式
1条答案
按热度按时间4sup72z81#
您可以将nifi设置为对上载数据的处理器使用调度策略。
我想你应该希望kafka的消费者总是读取数据，在nifi中建立一个流文件的积压，然后让puts以较少的频率运行。
这类似于kafka connect为其hdfs连接器运行的方式