如何与amazon elastic mapreduce共享jar库?

ux6nzvsh  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(341)

为了加快jar到s3的上传速度,我想将所有常用jar复制到普通hadoop中的“$hadoop\u home/lib”之类的东西上。我可以用这些库创建定制的emr hadoop示例吗。还是有更简单的方法?

l7mqbcuq

l7mqbcuq1#

你可以这样做作为一个引导动作。这很简单,只需放置一个脚本将复制到s3中,然后如果要从命令行启动emr,请添加如下参数:

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者,如果您是通过web界面进行的,只需在适当的字段中输入位置。

相关问题