Kafka和梅索斯使用同一个Zookeeper的问题

ckx4rj1h  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(598)

我试图设置Kafka和Spark与我们的8节点集群mesos如下,但有问题启动/启动使用zookeeper终点的mesos母舰。
1) 在3个节点(server00、server01、server02)上安装和设置zookeeper(通过$kafka\u home/config/zookeeper.properties)
2) 在所有8个节点上安装kafka代理(并通过在其$kafka\u home/config/server.properties中设置以下属性将其指向3个zookeers)

zookeeper.connect=server00:2181,server01:2181,server02:2181

3) 在3个节点(server00、server01、server02)上安装mesos master,并使用以下行更新/etc/mesos/zk:

zk://server00:2181,server01:2181,server02:2181/mesos

4) 在所有8个节点上安装mesos从属设备。
5) 在所有其他服务器上编辑/etc/mesos/zk文件,使其具有以下行。

zk://server00:2181,server01:2181,server02:2181/mesos

6) 在所有3个主服务器上启动mesos master,如下所示(通过启动验证所有mesos master都在运行并且可用)http://server00:5050/#/, http://server01:5050/#/, http://server02:5050/#/

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos

7) 在所有8台服务器上启动mesos slave。在server00上启动的示例: sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150 但上面没有启动slave/agent。
但下面的命令确实让我觉得也许梅索斯大师没有得到Zookeeper的注册。

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150

有谁能解释一下1)我的配置不对还是2)如果我必须为mesos群集设置单独的缩放器?3) 如何验证mesos masters是否已在zookeeper注册?
一旦这个设置开始工作,我打算在所有8个节点上运行spark。

pgky5nke

pgky5nke1#

至少在ubuntu上, /etc/mesos/zk ,以及下的其他配置文件 /etc/mesos 只有 /usr/bin/mesos-init-wrapper . 因此你的主人没有看到你的zk配置。
您需要使用init脚本启动它( service mesos-master start ),手动运行 Package 器,或使用 -zk 选择 mesos-master :

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos --zk=zk://server00:2181,server01:2181,server02:2181/mesos

`

相关问题