将数据从单独的kafka集群加载到samza？

tpgth1q7 于 2021-06-07 发布在 Kafka

关注(0)|答案(1)|浏览(383)

我正在尝试创建一个samza作业，尽可能类似于wikipedia示例作业。但是，在“wikipediafeed”对象中，我尝试从不同的kafka代理获取数据，而不是在启动hello samza网格时运行的kafka代理。
我是否必须在“wikipediafeed”对象中创建一个线程安全的kafka使用者来使用来自不同kafka集群的数据，还是有其他我看不到的方法？
编辑1：这里有一个链接到他们的维基百科例子。https://github.com/apache/samza-hello-samza/tree/master/src/main
谢谢

apache-kafka apache-samza

来源：https://stackoverflow.com/questions/46352974/load-data-from-separate-kafka-cluster-to-samza

1条答案

按热度按时间

a9wyjsp71#

在您的示例中，您需要更改此配置(https://github.com/apache/samza-hello-samza/blob/master/src/main/config/wikipedia-feed.properties) :

systems.kafka.consumer.zookeeper.connect=KAFKA_CLUSTER_FRONTING:2181
systems.kafka.producer.bootstrap.servers=KAFKA_CLUSTER_FRONTING:9092
task.inputs=kafka.topic1,kafka.topic2,kafka.topic3

用前面的kafka集群更改配置，并在task.inputs中添加主题，以“，”分隔
编辑：为了清楚起见，您可以将samza部署到集群1中，并使用另一个集群中的kafka主题。您需要更改samza属性中的配置。
查看更多信息：samza config
然后，如果需要在处理之后将消息发送到另一个kafka集群，则需要在配置中创建另一个系统。
查看更多信息：https://samza.apache.org/learn/documentation/0.13/api/overview.html

赞(0）回复(0）举报 2021-06-07

我来回答

将数据从单独的kafka集群加载到samza？

1条答案

相关问题

热门标签

最新问答