我可以使用spark streaming 1.5.1和kafka 0.10.0吗?网站spark.apache.org建议spark streaming应该与kafka 0.8.2一起使用;我只想知道如果我用Kafka0.10.0和Spark1.5.1怎么办有人能帮忙吗。
xv8emn3q1#
我认为这是可能的,但也有一些局限性。例如,ApacheSpark1.5.x不支持像kerberized环境中的流这样的特性。
ttcibm8c2#
此api spark-streaming-kafka-0-10仍处于实验状态。你可以用这个。但你可能会得到一些惊喜,因为它还没有稳定。请点击以下链接:https://github.com/jerryshao/spark-streaming-kafka-0-10-connector这是用于spark 1.x流媒体的kafka 0.10连接器。希望能成功。
2条答案
按热度按时间xv8emn3q1#
我认为这是可能的,但也有一些局限性。例如,ApacheSpark1.5.x不支持像kerberized环境中的流这样的特性。
ttcibm8c2#
此api spark-streaming-kafka-0-10仍处于实验状态。你可以用这个。但你可能会得到一些惊喜,因为它还没有稳定。请点击以下链接:
https://github.com/jerryshao/spark-streaming-kafka-0-10-connector
这是用于spark 1.x流媒体的kafka 0.10连接器。希望能成功。