可以使用spark streaming 1.5.1和kafka 0.10.0吗?

omhiaaxx  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(389)

我可以使用spark streaming 1.5.1和kafka 0.10.0吗?网站spark.apache.org建议spark streaming应该与kafka 0.8.2一起使用;
我只想知道如果我用Kafka0.10.0和Spark1.5.1怎么办
有人能帮忙吗。

xv8emn3q

xv8emn3q1#

我认为这是可能的,但也有一些局限性。例如,ApacheSpark1.5.x不支持像kerberized环境中的流这样的特性。

ttcibm8c

ttcibm8c2#

此api spark-streaming-kafka-0-10仍处于实验状态。你可以用这个。但你可能会得到一些惊喜,因为它还没有稳定。请点击以下链接:
https://github.com/jerryshao/spark-streaming-kafka-0-10-connector
这是用于spark 1.x流媒体的kafka 0.10连接器。希望能成功。

相关问题