Kafka2.4和spark 2.4兼容吗？

rbpvctlc 于 2021-06-05 发布在 Kafka

关注(0)|答案(1)|浏览(389)

当Kafka从2.3更新到2.4时，关于spark需要考虑什么（如果有的话）？会不会影响现有的spark版本？

apache-kafka apache-spark

来源：https://stackoverflow.com/questions/59785614/is-kafka-2-4-compatible-with-spark-2-4

1条答案

按热度按时间

bxpogfeg1#

我正在使用kafka代理使用kafka 2.4客户端使用spark 2.1生成的一些消息我认为spark 2.4将支持kafka 2.4（您可以在本地安装它们，并尝试生成/使用helloworld主题）
如果您对sbt相关性感兴趣：

val sparkVersion21 = "2.1.0"

lazy val dependencies = Seq(
  "org.apache.spark"    %% "spark-core"            % sparkVersion21,
  "org.apache.spark"    %% "spark-sql"             % sparkVersion21,
  "org.apache.spark"    %% "spark-hive"            % sparkVersion21,
  "org.apache.spark"    %% "spark-yarn"            % sparkVersion21,
  "org.apache.kafka"    %  "kafka-clients"         % "2.4.0",
  "org.apache.kafka"    %% "kafka"                 % "2.4.0",
  "org.apache.kafka"    %  "kafka-streams"         % "2.4.0")

赞(0）回复(0）举报 2021-06-06

我来回答

Kafka2.4和spark 2.4兼容吗？

1条答案

相关问题

热门标签

最新问答