我下载了一个文件源，创建并流处理一行一行地最终沉入hdfs。为此，我使用springclouddataflow+kafka。问题：有没有办法知道完整的文件何时被放入hdfs中触发事件？
mqkwyuun1#
有没有办法知道完整的文件何时被放入hdfs以触发事件？这种类型的用例通常属于任务/批处理，而不是流式管道。如果你建立一个 filehdfs 任务（批处理作业）应用程序，然后可以让一个流监听各种任务事件，以便做出进一步的下游决策或数据处理。有关详细信息，请参阅参考指南中的“订阅任务/批处理事件”。
filehdfs
1条答案
按热度按时间mqkwyuun1#
有没有办法知道完整的文件何时被放入hdfs以触发事件？
这种类型的用例通常属于任务/批处理，而不是流式管道。如果你建立一个
filehdfs任务（批处理作业）应用程序，然后可以让一个流监听各种任务事件，以便做出进一步的下游决策或数据处理。有关详细信息，请参阅参考指南中的“订阅任务/批处理事件”。