我有一个虚拟机上的Spark流，我想连接它与其他虚拟机，其中包含Kafka。我想让spark从Kafka的机器上获取数据。有可能吗？谢谢
pbpqsu0x1#
将它们放在不同的vm上是可能的，也是非常合理的。这样就有了明确的角色划分。
tgabmvqs2#
是的，绝对有可能。事实上，这就是为什么我们有分布式系统的原因：）在编写spark流程序时，如果您使用的是kafka，则必须创建kafka配置数据结构（语法将根据您的编程语言和客户端而有所不同）。在该配置结构中，必须指定kafka代理ip。这将是你的Kafka虚拟机的ip。然后只需要在spark虚拟机上运行spark流应用程序。
2条答案
按热度按时间pbpqsu0x1#
将它们放在不同的vm上是可能的，也是非常合理的。这样就有了明确的角色划分。
tgabmvqs2#
是的，绝对有可能。事实上，这就是为什么我们有分布式系统的原因：）
在编写spark流程序时，如果您使用的是kafka，则必须创建kafka配置数据结构（语法将根据您的编程语言和客户端而有所不同）。在该配置结构中，必须指定kafka代理ip。这将是你的Kafka虚拟机的ip。
然后只需要在spark虚拟机上运行spark流应用程序。