我试图设置Kafka和Spark与我们的8节点集群mesos如下,但有问题启动/启动使用zookeeper终点的mesos母舰。
1) 在3个节点(server00、server01、server02)上安装和设置zookeeper(通过$kafka\u home/config/zookeeper.properties)
2) 在所有8个节点上安装kafka代理(并通过在其$kafka\u home/config/server.properties中设置以下属性将其指向3个zookeers)
zookeeper.connect=server00:2181,server01:2181,server02:2181
3) 在3个节点(server00、server01、server02)上安装mesos master,并使用以下行更新/etc/mesos/zk:
zk://server00:2181,server01:2181,server02:2181/mesos
4) 在所有8个节点上安装mesos从属设备。
5) 在所有其他服务器上编辑/etc/mesos/zk文件,使其具有以下行。
zk://server00:2181,server01:2181,server02:2181/mesos
6) 在所有3个主服务器上启动mesos master,如下所示(通过启动验证所有mesos master都在运行并且可用)http://server00:5050/#/, http://server01:5050/#/, http://server02:5050/#/
sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos
7) 在所有8台服务器上启动mesos slave。在server00上启动的示例: sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150
但上面没有启动slave/agent。
但下面的命令确实让我觉得也许梅索斯大师没有得到Zookeeper的注册。
sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150
有谁能解释一下1)我的配置不对还是2)如果我必须为mesos群集设置单独的缩放器?3) 如何验证mesos masters是否已在zookeeper注册?
一旦这个设置开始工作,我打算在所有8个节点上运行spark。
1条答案
按热度按时间pgky5nke1#
至少在ubuntu上,
/etc/mesos/zk
,以及下的其他配置文件/etc/mesos
只有/usr/bin/mesos-init-wrapper
. 因此你的主人没有看到你的zk配置。您需要使用init脚本启动它(
service mesos-master start
),手动运行 Package 器,或使用-zk
选择mesos-master
:`