我有pig脚本,我需要与spark框架集成,这样如果我运行spark程序,我应该能够运行pig脚本也。怎么做?请在这件事上帮助我。非常感谢!
uz75evzq1#
我相信你可能想得太多了。正常模式是:做第一件事,储存结果对这些结果执行pig操作并存储第二个结果在第二个结果上做第二个工作这可以由调度程序来协调,例如oozie或airflow。
1条答案
按热度按时间uz75evzq1#
我相信你可能想得太多了。正常模式是:
做第一件事,储存结果
对这些结果执行pig操作并存储第二个结果
在第二个结果上做第二个工作
这可以由调度程序来协调,例如oozie或airflow。