我有一个flink流作业，它从kafka读取数据并写入文件系统中的适当分区。例如，作业被配置为使用一个bucketing接收器，该接收器写入/data/date=${date}/hour=${hour}。如何检测分区是否准备好使用，以便相应的气流管道可以在这一小时内进行批处理？
wydwbb8l1#
您可以查看continuousfilemonitoringsource的实现，看看它是如何监视文件系统的。然后做一些类似于davidanderson在你的另一个问题中建议的事情，重新创建一个定制的processfunction。
1条答案
按热度按时间wydwbb8l1#
您可以查看continuousfilemonitoringsource的实现，看看它是如何监视文件系统的。然后做一些类似于davidanderson在你的另一个问题中建议的事情，重新创建一个定制的processfunction。