在amazonemr中的hadoop的所有节点上运行脚本

7lrncoxx  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(305)

如何在AmazonEMR的所有节点(主节点和从节点)上运行脚本,script-runner.jar只在namenode上运行。

kr98yfug

kr98yfug1#

您有引导选项:
您可以使用引导操作来安装其他软件并更改集群上应用程序的配置。引导操作是在amazonemr启动集群时在集群节点上运行的脚本。它们在hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或者使用amazonemr提供的预定义引导操作。
根据文件:http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html
这很简单,只需放置一个脚本将复制到s3中,然后如果要从命令行启动emr,请添加如下参数:

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者,如果您是通过web界面执行此操作,只需在“引导操作”中输入文件的位置作为“自定义操作”。

相关问题