如何在AmazonEMR的所有节点(主节点和从节点)上运行脚本,script-runner.jar只在namenode上运行。
kr98yfug1#
您有引导选项:您可以使用引导操作来安装其他软件并更改集群上应用程序的配置。引导操作是在amazonemr启动集群时在集群节点上运行的脚本。它们在hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或者使用amazonemr提供的预定义引导操作。根据文件:http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html这很简单,只需放置一个脚本将复制到s3中,然后如果要从命令行启动emr,请添加如下参数:
--bootstrap-action 's3://my-bucket/boostrap.sh'
或者,如果您是通过web界面执行此操作,只需在“引导操作”中输入文件的位置作为“自定义操作”。
1条答案
按热度按时间kr98yfug1#
您有引导选项:
您可以使用引导操作来安装其他软件并更改集群上应用程序的配置。引导操作是在amazonemr启动集群时在集群节点上运行的脚本。它们在hadoop启动和节点开始处理数据之前运行。您可以创建自定义引导操作,或者使用amazonemr提供的预定义引导操作。
根据文件:http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html
这很简单,只需放置一个脚本将复制到s3中,然后如果要从命令行启动emr,请添加如下参数:
或者,如果您是通过web界面执行此操作,只需在“引导操作”中输入文件的位置作为“自定义操作”。