由于oozie是hadoop平台的工作流引擎，它是否提高了mapreduce作业的dag依赖项的执行性能？我的意思是，由于一个mapreduce作业的输出作为dag中下一个mapreduce作业的输入，oozie是否提供了将中间结果存储在内存中从而节省i/o的机制。或者只是一个工作流管理器，协调一系列相关的mapreduce？想知道oozie是怎么工作的吗？
yvgpqqbh1#
它“只是一个工作流管理器，协调一系列mapreduce”作业。它使用与使用命令行相同的机制来执行作业。
but5z9lq2#
它只是一个工作流管理器。它不会改变mapreduce的工作方式，比如说，即使它运行m/r作业。您所描述的更像apachespark所做的事情。我还不知道oozie直接与spark集成，但是，它不可能是困难的或遥远的。
2条答案
按热度按时间yvgpqqbh1#
它“只是一个工作流管理器，协调一系列mapreduce”作业。它使用与使用命令行相同的机制来执行作业。
but5z9lq2#
它只是一个工作流管理器。它不会改变mapreduce的工作方式，比如说，即使它运行m/r作业。
您所描述的更像apachespark所做的事情。我还不知道oozie直接与spark集成，但是，它不可能是困难的或遥远的。