在hdfs(hadoop)目录中移动文件时触发作业

5n0oy7gb  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(371)

在hadoop分布式文件系统中,当文件被传输到特定目录(通过flume)时,我想触发一个作业(hive、pig或oozie..etc)。有可能吗?

vatpfxk5

vatpfxk51#

这是可能的。oozie不支持纯数据可用性触发器。您必须设置一个具有一定频率的循环流,并添加数据可用性作为附加条件。
这是一个很常见的关于oozie的问题,不幸的是文档很糟糕。

相关问题