oozie:oozie是否生成输出事件？

pexxcrt2 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(303)

在奥齐， input-events 非常简单，如果指定的文件/文件夹不存在，协调器作业将保留在 WAITING 州。但我不明白是什么 output-events 做。
据我所知，在 output-events 标记应该由oozie创建，以防所有指定的操作都成功。但事实并非如此。我也找不到任何相关的日志。文件对此也不清楚。
所以，问题是，oozie真的创建了中指定的文件/文件夹吗 output-events ? 或者它只是提到这些特定的文件/文件夹是在工作流期间创建的，并且创建的责任在作业上，而不是在oozie上？
相关代码可在https://gist.github.com/venkateshshukla/de0dc395797a7ffba153

hadoop oozie oozie-coordinator

来源：https://stackoverflow.com/questions/33234195/oozie-does-oozie-generate-output-events

2条答案

按热度按时间

pdtvr36n1#

oozie coordinator的官方oozie文档并不十分清楚 output-events 元素。但是，《apache oozie:hadoop工作流调度器》一书提到了以下内容：
在重新处理协调器的过程中，oozie通过默认清理输出目录来帮助重试。为此，它使用 <output-events> 在协调器xml中指定在运行新尝试之前删除旧输出。用户可以使用 –noCleanup 选项。
总之：
否，中指定的文件 output-events 不是由oozie自动创建的，您需要在oozie工作流操作中创建这些文件。
这个 output-events 配置用于向oozie提供有关oozie工作流操作将创建哪些文件的信息，在重新运行/重新处理协调器时，oozie将使用这些信息来清理文件。