当代理为0.10或更高版本时，可以使用spark-streaming-kafka-0-8。spark-streaming-kafka-0-8支持较新的代理版本，而streaming-kafka-0-10不支持较旧的代理版本。到目前为止，streaming-kafka-0-10仍然是实验性的，没有python支持。

我还将spark流与kafka 0.10.0群集一起使用。在代码中添加以下行之后，就可以开始了。

spark.jars.packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.0.0

下面是python的一个示例：

# Initialize SparkContext

sc = SparkContext(appName="sampleKafka")

# Initialize spark stream context

batchInterval = 10
ssc = StreamingContext(sc, batchInterval)

# Set kafka topic

topic = {"myTopic": 1}

# Set application groupId

groupId = "myTopic"

# Set zookeeper parameter

zkQuorum = "zookeeperhostname:2181"

# Create Kafka stream

kafkaStream = KafkaUtils.createStream(ssc, zkQuorum, groupId, topic)

# Do as you wish with your stream

# Start stream

ssc.start()
ssc.awaitTermination()