我有这个场景。joba和jobb。在joba reduce阶段仍然有效时，是否有机会使用joba reduce阶段提供的数据启动jobbMap阶段？谢谢！
pbwdgjma1#
我想到的唯一一件事就是有一个线程（从驱动程序类开始），它永久地检查joba的输出目录。当一个特定的（一组）part-r-x文件被创建并完全写入时，您可以启动jobb，将该特定的（一组）part-r-x文件作为输入。我现在唯一能确定的问题是与检查part-r-x文件是否完整编写有关的问题。
1条答案
按热度按时间pbwdgjma1#
我想到的唯一一件事就是有一个线程（从驱动程序类开始），它永久地检查joba的输出目录。当一个特定的（一组）part-r-x文件被创建并完全写入时，您可以启动jobb，将该特定的（一组）part-r-x文件作为输入。
我现在唯一能确定的问题是与检查part-r-x文件是否完整编写有关的问题。