在amazon emr上安装impala 2.3

wa7juj8i  于 2021-06-26  发布在  Impala
关注(0)|答案(2)|浏览(598)

我看到只有cloudera cdh 5.5及以上版本才支持impala 2.3。impala2.2可以安装在amazonemr上,因为github上提供了引导脚本&您不需要cloudera安装。
但是,我没有看到任何方法可以在amazonemr上安装clouderacdh5.5或5.6。我想安装 Impala 2.3,那么有什么方法可以通过 Impala 2.3安装在亚马逊电子病历?

eulz3vhy

eulz3vhy1#

不,不可能在emr上“安装”任何东西,因为它是aws提供的paas。但是,如果您的目标是在aws上运行更新版本的impala,那么安装CDH5.x(包括impala)有一个aws快速入门路径,这使得安装过程相对简单。
http://aws.amazon.com/quickstart/

gt0wga4j

gt0wga4j2#

好吧,我以前的回答已经被删除了,只要“没有提供问题的答案”。我不想争论是否对这个问题有一个部分错误的回答更好,或者如果没有基础地作出明确的声明是一个很好的答案。
无论如何,我不会放弃:)
是的,可以在纸上安装“任何东西”。
一旦启动emr集群,所有示例都将出现在ec2控制台上。唯一的一点是,您必须小心地分配通过ssh访问示例的正确权限。我的建议是创建一个具有访问权限的特定安全组,并使用集群的高级配置将这个额外的安全组分配给示例。通过正确的配置,您可以ssh到任何示例并安装任何东西(如果您有正确的vpc配置,您应该能够scp任何文件或从internet下载)。注意,用户将是“hadoop”而不是“ec2 root”,但这在emr用户指南中有记录。
请记住,集群是“终止”的,因此,emr示例是不稳定的,安装不会在集群终止后继续存在。
另一方面,使用emr amis的最新版本和aws的最新功能(我认为一直都是这样,但是现在不重要了),您应该能够在引导上创建一些操作并安装任何您想要的东西。
使用集群的“高级配置”,您可以访问要在集群上执行的“引导”操作。根据节点类型(主节点、核心节点、任务),甚至可以有不同的操作。您应该将脚本(和/或jar文件)存储在s3 bucket上,并使该bucket可供集群使用。在本文中,您可以在这些包含emr集群的ec2示例上安装impala,但我不确定这是否有效。
更多信息,请阅读http://docs.aws.amazon.com//emr/latest/managementguide/emr-plan-bootstrap.html
对于emr ami的早期版本,而不是impala的最新版本,您可以阅读https://github.com/awslabs/emr-bootstrap-actions/tree/master/impala
谢谢马克,你逼我把我的评论说得更详细。

相关问题