yarn有一个名为distributedshell的代码示例，它可以完成您所说的工作。但是它有点重，可以使用puppet在集群中安装和配置软件。当然，它也可以运行unixshell命令或安装python模块。
有关详细信息，请参阅http://puppetlabs.com

在启动集群时，可以使用引导在每个emr节点上安装第三方软件。
如果您使用的是命令行，那么可以传递保存在s3中的shell脚本作为引导操作的一部分。

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--use-default-roles --ec2-attributes KeyName=myKey \
--applications Name=Hue Name=Hive Name=Pig \
--instance-count 5 --instance-type m3.xlarge \
--bootstrap-action Path="s3://elasticmapreduce/bootstrap-actions/download.sh"

如果您使用的是web界面
创建shell脚本以下载必要的软件
去 advanced options 作为一部分 General Cluster Settings 可以指定引导操作
每次克隆集群时，这些操作都将被保留，并确保在启动集群时完成引导。

下面是一种在创建emr集群后跨所有节点运行脚本的可能方法。

yarn node -list 2>/dev/null \
    | sed -n "s/^\(ip[^:]*\):.*/\1/p" \
    | xargs -t -I{} \
    ssh -i ~/.ssh/yourkey.pem hadoop@{} \
    "pip install package"

关于这里发生的事情的一些注意事项：
这个 yarn node -list 步骤列出所有节点（使用 --states 限制此选项）
这个 sed 步骤解析该列表以获得节点名称
如果需要，添加 -o StrictHostKeyChecking=no 到ssh以禁用主机密钥检查
如果需要，添加 -P n 将此限制为 n 一次一个节点
这要求ssh私钥存在于当前节点上

这很难看，但我用的是一双 run-if 引导操作 instance.isMaster=true 以及 instance.isMaster=false 要在所有节点上运行我的命令：

--bootstrap-action \
Path=s3://elasticmapreduce/bootstrap-actions/run-if,Args=["instance.isMaster=true","sudo pip install sklearn"] \ 
Path=s3://elasticmapreduce/bootstrap-actions/run-if,Args=["instance.isMaster=false","sudo pip install sklearn"]