为了加快jar到s3的上传速度,我想将所有常用jar复制到普通hadoop中的“$hadoop\u home/lib”之类的东西上。我可以用这些库创建定制的emr hadoop示例吗。还是有更简单的方法?
l7mqbcuq1#
你可以这样做作为一个引导动作。这很简单,只需放置一个脚本将复制到s3中,然后如果要从命令行启动emr,请添加如下参数:
--bootstrap-action 's3://my-bucket/boostrap.sh'
或者,如果您是通过web界面进行的,只需在适当的字段中输入位置。
1条答案
按热度按时间l7mqbcuq1#
你可以这样做作为一个引导动作。这很简单,只需放置一个脚本将复制到s3中,然后如果要从命令行启动emr,请添加如下参数:
或者,如果您是通过web界面进行的,只需在适当的字段中输入位置。