如何在amazon elastic map reduce上执行pig脚本中的shell命令?

ezykj2lf  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(211)

通过使用引导,我将一些源文件移动到主节点。在通过elasticmapreduce客户端创建jobflow时,我将传递一个pig脚本,该脚本将从主节点中的源文件启动嵌入式python。
下面是我用来创建作业流的命令,

./elastic-mapreduce --create --alive --name "AutoTest" \
--instance-group master --instance-type m1.small \
--instance-count 1 --bid-price 0.20 \
--instance-group core --instance-type m1.small \
--instance-count 2 --bid-price 0.20 \
--log-uri s3n://test/logs \
--bootstrap-action "s3://test/bootstrap-actions/download.sh" \
--pig-script \
--args s3://test/rollups.pig

rollups.pig包含以下启动嵌入式pig文件的代码,

sh pig automate.py

如果我在本地机器上运行rollups.pig,它将成功地启动automatic.py。但是当我尝试使用amazonelasticmapreduce运行这个程序时,它不起作用了吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题