Apache·梅索斯与Kafka

s1ag04yj  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(391)

我正致力于集成mesos与kafka,根据git-hub文件调度程序可以运行在一个独立的机器上,其中安装了mesos和kafka,并在mesos-master配置注册的帮助下可以完成。
我们如何从调度程序在从机上运行代理,以及在从机上运行代理需要什么配置。
如何将slave配置为代理。

crcmnpdw

crcmnpdw1#

如果您已经在使用docker,则可以使用docker图像,如中所述
https://github.com/mesos/kafka/tree/master/src/docker#intro
您可以使用marathon启动kafka调度程序映像,然后使用restapi或cli启动代理/主题。
实际代理的分派将由mesos软件本身完成。使用代理是通过定义的zookeeper节点名完成的。

ijxebb2r

ijxebb2r2#

谢谢,我可以通过shell和docker运行调度程序。不过我有两个问题

sudo docker run -t -p 5900:5900 --net=host root/kafka-mesos ./kafka-mesos.sh \ 
  scheduler --master=192.168.1.115:5050 --zk=192.168.1.115:2181 \
  --api=http://192.168.1.118:5900 --storage=zk:/kafka-mesos \
  --log=/var/log/mesos.log --debug=true

我在marathon中使用了上面的命令来运行容器,如果我删除 --net=host 调度向docker容器ip注册,但在添加 --net=host 它使用从机的ip端口并将其转发到docker容器。有没有更好的办法?
第二个问题是在一个mesos集群中我们能产生多少个调度器,比如说3个主5个从,即我们能扩展或支持调度器集群吗?

相关问题