使用spark运行pig脚本

epggiuax  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(407)

我有pig脚本,我需要与spark框架集成,这样如果我运行spark程序,我应该能够运行pig脚本也。怎么做?
请在这件事上帮助我。非常感谢!

uz75evzq

uz75evzq1#

我相信你可能想得太多了。正常模式是:
做第一件事,储存结果
对这些结果执行pig操作并存储第二个结果
在第二个结果上做第二个工作
这可以由调度程序来协调,例如oozie或airflow。

相关问题