我有两个集群分别运行Kafka和Spark。我想从spark cluster创建一个Kafka主题。我注意到要创建一个主题,我们需要调用kafka-topics.sh,这在spark cluster中是不可用的。命令应该通过shell调用。
例如:/kafka\u topics.sh--zookeeper:2181--create--topic test\u topic
这个脚本应该从spark集群调用,并且应该在kafka集群上执行。有人能帮我吗?
我有两个集群分别运行Kafka和Spark。我想从spark cluster创建一个Kafka主题。我注意到要创建一个主题,我们需要调用kafka-topics.sh,这在spark cluster中是不可用的。命令应该通过shell调用。
例如:/kafka\u topics.sh--zookeeper:2181--create--topic test\u topic
这个脚本应该从spark集群调用,并且应该在kafka集群上执行。有人能帮我吗?
1条答案
按热度按时间xxhby3vn1#
您可以使用javaapi和maven依赖项(kafka和zookeeper)来创建kafka主题,如下所示。您可以从提交spark应用程序的代码中调用代码。
这里x.x.x.x和y.y.y.y是kafka的zk集群主机。希望这有帮助。