喷口未在风暴群模式下读取/发射数据

os8fio9y  于 2021-06-21  发布在  Storm
关注(0)|答案(3)|浏览(217)

我在本地和集群模式下都使用ApacheStorm1.0.0。对于喷口,我正在阅读Kafka主题中的数据(我使用的是Kafka2.11-0.8.2.1)。喷口正在读取Kafka主题中的数据,当我在本地模式下使用storm时也会发出数据,但当我在群集模式下运行storm时,storm喷口不会发出任何数据。
我读取kafka数据的拓扑实现如下:

brokerHosts = new ZkHosts(kafkaZookeeper);
SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, kafkaTopicIn, "", "storm");
kafkaConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new KafkaSpout(kafkaConfig), 2);

我的storm配置文件(conf/storm.yaml):

storm.zookeeper.servers:
- "localhost"
storm.zookeeper.port: 2181
nimbus.seeds: ["localhost"]

storm.local.dir: "/tmp/storm"

在集群模式下提交storm拓扑时,我也没有收到任何错误。
知道topology spout为什么不在集群模式下发送任何数据吗??任何帮助都将不胜感激。

cczfrluj

cczfrluj1#

谢谢大家宝贵的建议。它现在起作用了。我与storm-1.0.0拓扑一起使用的log4j logger api版本存在一些问题。这个log4j在本地模式下没有引起任何问题,但是在集群模式下引起了问题。

bybem2ql

bybem2ql2#

在将拓扑提交到集群之前,您需要启动nimbus和supervior。如果这样做,你会发现日志文件夹在风暴。你可以从那里检查日志文件,然后继续。

toe95027

toe950273#

作为您的步骤,我不认为您在将拓扑提交到生产/集群模式之前启动了nimbus、supervisor、ui,然后在storm ui中验证这个集群,如果有任何错误,也检查日志文件。
请分享这些信息。

相关问题