livy服务器挂起连接到resourcemanager

jrcvhitl 于 2021-05-27 发布在 Spark

关注(0)|答案(3)|浏览(510)

我正试图在amazonemr上部署livy服务器。首先，我建立了利维大师分支

mvn clean package -Pscala-2.11 -Pspark-2.0

然后，我把它上传到emr集群主机上。我设置了以下配置：
livy-env.sh公司

SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

livy.conf公司

livy.spark.master = yarn
livy.spark.deployMode = cluster

当我启动livy时，它在连接到yarn资源管理器时无限期挂起（xx.xx..xx是ip地址）

16/10/28 17:56:23 INFO RMProxy: Connecting to ResourceManager at /XX.XX.XXX.XX:8032

但是，当我netcat端口8032时，它连接成功

nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!

我想我可能漏了一步。有人知道这个步骤是什么吗？

yarn apache-spark cloudera emr

来源：https://stackoverflow.com/questions/40312552/livy-server-on-amazon-emr-hangs-on-connecting-to-resourcemanager

3条答案

按热度按时间

tktrz96b1#

您可以在log4j.properties中使用以下内容，请发布日志文件。

log4j.rootCategory=DEBUG, NotConsole

log4j.appender.NotConsole=org.apache.log4j.RollingFileAppender

log4j.appender.NotConsole.File=/<LIVY SERVER INSTALL PATH>/logs/livy.log

log4j.appender.NotConsole.maxFileSize=20MB

log4j.appender.NotConsole.layout=org.apache.log4j.PatternLayout

log4j.appender.NotConsole.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

赞(0）回复(0）举报 2021-05-27

c8ib6hqw2#

在解压缩livy-server-0.2.0.zip文件之后，我对配置文件做了以下更改
livy-env.sh公司

export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf公司

livy.rsc.rpc.server.address=<Loop Back address>

在spark conf文件夹下的“spark defaults.conf”文件中添加“spark.master cluster”。
如果你还有问题，请告诉我。

赞(0）回复(0）举报 2021-05-27

0aydgbwb3#

看看github repo，看起来主分支正在开发中，0.2版本有一个单独的发行分支。安装livy的捷径（对我来说很有用）是按照快速启动页面中的步骤进行：http://livy.io/quickstart.html

下载livy服务器分发版

wget http://archive.cloudera.com/beta/livy/livy-server-0.2.0.zip

解压

unzip livy-server-0.2.0.zip

开始

$ cd livy-server-0.2.0
$ ./bin/livy-server
16/11/07 20:32:51 INFO LivyServer: Using spark-submit version 2.0.0
16/11/07 20:32:51 WARN RequestLogHandler: !RequestLog
16/11/07 20:32:51 INFO WebServer: Starting server on http://ip-xx-xx-xx-xxx.us-west-2.compute.internal:8998

赞(0）回复(0）举报 2021-05-27

我来回答

livy服务器挂起连接到resourcemanager

3条答案

下载livy服务器分发版

解压

开始

相关问题

热门标签

最新问答