我发现这个解决方案更适合我的目的。我们可以用不同的数据流共享一个streamingcontext示例。为了更好地管理，我们可以使用相同的流上下文为每个主题创建单独的“dstream”示例，您可以将此“dstream”示例与其主题名称一起存储在Map中，以便以后您可以停止或取消订阅该特定主题。为了清楚起见，请参阅下面的代码。

<script src="https://gist.github.com/shemeemsp7/01d21588347b94204c71a14005be8afa.js"></script>

spark 2.0.x和kafka 0.10.x之间的集成支持订阅模式。根据文件：
subscribepattern允许您使用regex指定感兴趣的主题。请注意，与0.8集成不同，使用subscribe或subscribepattern应该响应在运行流期间添加分区。
您可以使用regex模式来注册所有您想要的主题。

class SubscribePattern[K, V](
    pattern: java.util.regex.Pattern,
    kafkaParams: java.util.Map[String, Object],
    offsets: java.util.Map[TopicPartition, java.util.Long]
) extends ConsumerStrategy[K, V]

您可以订阅多个主题，如topic1、topic2等

val df = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "topic1,topic2")
  .load()

更多信息，Kafka指南