下面是我的 spark-defaults.conf
以及 spark-shell
```
$ cat conf/spark-defaults.conf
spark.master mesos://172.16..*:5050
spark.eventLog.enabled false
spark.broadcast.compress false
spark.driver.memory 4g
spark.executor.memory 4g
spark.executor.instances 1
$ bin/spark-shell
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Using Spark's repl log4j profile: org/apache/spark/log4j-defaults-repl.properties
To adjust logging level use sc.setLogLevel("INFO")
Welcome to
____ __
/ / ___ __/ /
\ / _ / _ `/ __/ '/
// ./_,// //_\ version 1.5.2
//
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_80)
Type in expressions to have them evaluated.
Type :help for more information.
15/11/15 04:56:11 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set.
I1115 04:56:12.171797 72994816 sched.cpp:164] Version: 0.25.0
I1115 04:56:12.173741 67641344 sched.cpp:262] New master detected at master@172.16..*:5050
I1115 04:56:12.173951 67641344 sched.cpp:272] No credentials provided. Attempting to register without authentication
它无限期地挂在这里,而mesoswebui显示了很多spark框架在旋转——不断地注册和注销,直到我退出 `spark-shell` 使用ctrl-c。
![](https://i.stack.imgur.com/DpeBi.png)
我怀疑部分原因是我的笔记本电脑有多个ip地址。在服务器上运行时,它将继续执行下一行,通常的scala repl:
I1116 09:53:30.265967 29327 sched.cpp:641] Framework registered with 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242
15/11/16 09:53:30 INFO mesos.MesosSchedulerBackend: Registered as framework ID 9d725348-931a-48fb-96f7-d29a4b09f3e8-0242
15/11/16 09:53:30 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 57810.
15/11/16 09:53:30 INFO netty.NettyBlockTransferService: Server created on 57810
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Trying to register BlockManager
15/11/16 09:53:30 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.16..:57810 with 2.1 GB RAM, BlockManagerId(driver, 172.16.., 57810)
15/11/16 09:53:30 INFO storage.BlockManagerMaster: Registered BlockManager
15/11/16 09:53:30 INFO repl.Main: Created spark context..
Spark context available as sc.
我正在运行由中间层构建的中间层0.25.0,我正在设置 `spark.driver.host` 可从mesos群集中的所有计算机访问的地址。我看到每个港口 `spark-shell` 的进程绑定到该ip地址或 `*` .
关于stackoverflow的最相似的问题似乎没有什么帮助,因为在这种情况下,我的笔记本电脑应该可以从主机访问。
我找不到可能包含框架注销原因的日志文件。我应该去哪里解决这个问题?
1条答案
按热度按时间0s7z1bwu1#
mesos对网络如何工作有一个非常奇怪的概念——特别是,在主框架和框架之间建立双向通信非常重要。所以双方都需要有一个相互的网络路线。如果您在nat或容器后面运行,您以前就遇到过这种情况—通常需要设置
LIBPROCESS_IP
到框架端的公共可访问ip。也许这也适用于多家庭系统,比如你的笔记本电脑。你可以在互联网上找到更多的信息,尽管不幸的是没有很好的文档记录。不过,在他们的部署脚本页面上有一个提示。