伙计们,如果有人经历过这个问题-请你能帮助我-我一直在绞尽脑汁,这没有成功,并仔细研究了尽可能多的职位,我可以。
场景我有zookeeper /两个代理、一个生产者和一个消费者从我的子网内的不同IP地址运行在我的本地分区上,一切都很完美。我的生产者生产-消费者消费生活很快乐。
我想在EC2上复制这个,在EC2上启动一个Kafka代理,并希望该代理连接到我的Zookeeper,但由于某种原因,EC2上的代理无法连接到我的Zookeeper。
现在为了清楚起见:我的笔记本电脑IP:1.1.1.1(1)在所附图片Zookeeper IP:z.z.z.z.z(2)在我的笔记本电脑上的随附图像Broker 1:b.b.b.b.b.
因此,问题是从EC2,当我尝试连接到zookeeper,我得到一个错误和超时-我不明白是怎么回事,我也打开了端口/IP到我的笔记本电脑,并有这些在我的入站出站会话。
请有人帮忙-我也不明白为什么EC2上Kafka经纪人试图连接到z.z.z.z.us-east-2.compute.internal...
请原谅我,伙计们,但我不确定我是否需要改变。
在代理配置中:我有Zookeeper配置设置为z.z.z.z:2181,1.1.1.1:2181
从EC2终端我可以ping我的笔记本电脑公共DNS -但不能ping我的内部分区IP上运行的zookeeper-我认为这可能是一个原因也。
如果你能帮我解释一下,如果你在纽约,啤酒就在我身上。
谢谢你吧!
Screen shot of EC2 Kafka log
1条答案
按热度按时间quhf5bfb1#
解决方案我无法找到明确的答案-我查看了文档-所以我退一步开始检查日志。以下是我的发现:
ssh / scp可以从我的zookeeper工作到EC2,但不能从EC2工作到zookeeper zookeeper位于我的子网上的manjaro专用IP上
所以根本上的问题是我没有打开端口,所以我打开了我的路由器上的一个端口,更新了(非常重要)EC2 www.example.com中的IP地址server.properties,使我的公共IP为分配的端口,我打开并转发到我的Kali(停止Majaro在Kali上启动Zookeeper)IP和2181
工作起来就像一个魅力- EC2能够连接到Zookeeper-一切都很好。
现在,从我的Fedora我启动了一个生产者,并得到了EC2消费-确认日志加上CMAK。
但从我的Ubuntu消费者,即使我看到消费者能够连接,我无法消费消息和消费者组无法创建。
所以这里有些发现:
1.不要使用Manjaro-使用Kali -我不是100%确定的原因,但我的百胜更新导致KaliZookeeper能够更容易地连接到EC2 -加上我可以更容易地配置Kali-我很确定两者是一样的,但我发现它更容易导航Kali比Manjaro。所以我有KaliZookeeper-和更多的我使用Kali我喜欢它-我可以从路由器上的Kali运行我的python socket脚本,并在Kali内部创建一个新的子网-我不能从Manjaro -基本上想在同一分区/盒子上运行另一个代理。所以Kali竖起大拇指,然后Fedora,LinuxMint然后Ubuntu然后Manjaro -我再次100%当然,我正在做一些非常愚蠢的事情,这不是对这些发行版的反映,这只是我个人对使用它们的看法。加上由于某种原因,我得到更多的信息与sudo tracert对卡利比Manjaro -所有在所有Manjaro我要小屋下来,而不是触摸/使用太多的时间浪费(IMHO)它太图形用户界面驱动...
1.在Manjaro上,由于某种原因,IP被设置为DHCP,并不断翻转,我还发现,如果IP由于某种原因翻转,我需要刷新一个主题上的未提交消息,并创建一个新的集群,然后在CMAK中创建一个新的主题-我不知道为什么会这样-我使用的是2.7.0。
1.此外,由于我不想花$$在EC2上,我启动了基本的亚马逊linux 2,然后创建了我自己的AMI w Java / Python(注意yum在Python 2上工作,所以你需要重新链接到Python 2来做任何yum更新,然后链接到3. 7)/ Kafka -但总而言之,我不得不将broker mem设置为128 M/526 M,因为明显的限制,因为我想使用免费的服务从AWS)-所以我认为我的消费者连接,但未能消费任何消息的原因是因为吞吐量和网络带宽-而且我认为我犯了一个错误-他们使用了弗吉尼亚州北部地区,而不是俄亥俄州州在纽约。
1.从我所读到的到目前为止-我试图做的w端口转发本质上是不推荐的,Kafka文档特别指出,要在一个受信任的网络中在vpn等中这样做-但我必须测试,以确保它的工作-只是一个概念证明
1.在EC2上,系统工作得非常完美,从汤到坚果,没有任何问题。
所以问题解决了-但需要检查Ubuntu上的thruput为消费者为什么我不能注册一个消费者团体-但感谢所有在所有我想测试的工作。