我正试图在amazonemr上部署livy服务器。首先,我建立了利维大师分支
mvn clean package -Pscala-2.11 -Pspark-2.0
然后,我把它上传到emr集群主机上。我设置了以下配置:
livy-env.sh公司
SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf
livy.conf公司
livy.spark.master = yarn
livy.spark.deployMode = cluster
当我启动livy时,它在连接到yarn资源管理器时无限期挂起(xx.xx..xx是ip地址)
16/10/28 17:56:23 INFO RMProxy: Connecting to ResourceManager at /XX.XX.XXX.XX:8032
但是,当我netcat端口8032时,它连接成功
nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!
我想我可能漏了一步。有人知道这个步骤是什么吗?
3条答案
按热度按时间tktrz96b1#
您可以在log4j.properties中使用以下内容,请发布日志文件。
c8ib6hqw2#
在解压缩livy-server-0.2.0.zip文件之后,我对配置文件做了以下更改
livy-env.sh公司
livy.conf公司
在spark conf文件夹下的“spark defaults.conf”文件中添加“spark.master cluster”。
如果你还有问题,请告诉我。
0aydgbwb3#
看看github repo,看起来主分支正在开发中,0.2版本有一个单独的发行分支。安装livy的捷径(对我来说很有用)是按照快速启动页面中的步骤进行:http://livy.io/quickstart.html
下载livy服务器分发版
解压
开始