我已经设法让它工作，从jupyter笔记本，这是运行形式的所有Spark容器。
我在jupyterhub中启动一个python3笔记本，并覆盖pyspark\u submit\u args标志，如下所示。kafka消费者库是从maven存储库下载的，并放在我的主目录/home/jovyan中：

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = 
  '--jars /home/jovyan/spark-streaming-kafka-assembly_2.10-1.6.1.jar pyspark-shell'

import pyspark
from pyspark.streaming.kafka import KafkaUtils
from pyspark.streaming import StreamingContext

sc = pyspark.SparkContext()
ssc = StreamingContext(sc,1)

broker = "<my_broker_ip>"
directKafkaStream = KafkaUtils.createDirectStream(ssc, ["test1"],
                        {"metadata.broker.list": broker})
directKafkaStream.pprint()
ssc.start()

注意：不要忘记环境变量中的pyspark shell！
扩展：如果您想包含来自spark包的代码，可以改用--packages标志。关于如何在all spark笔记本中实现这一点的示例可以在这里找到

如果有人和我一样：我尝试了以上所有的解决方案，但没有一个对我有效。我要做的是用jupyter笔记本里的delta lake。
我终于可以用了 from delta.tables import * 通过呼叫 SparkContext.addPyFile("/path/to/your/jar.jar") 第一。虽然在spark官方文件中，它只提到 .zip 或者 .py 但我试过了 .jar 而且效果很好。

实际上，在创建sparksession时，有一种方法可以通过sparkconf对象动态链接它，如下面的回答所述：

spark = SparkSession \
    .builder \
    .appName("My App") \
    .config("spark.jars", "/path/to/jar.jar,/path/to/another/jar.jar") \
    .getOrCreate()

对于使用spark处理jupyter笔记本，您需要在创建sparkcontext对象之前给出外部jar的位置。pyspark——jars youjar将创建一个带有外部jar位置的sparkcontext

通过设置相关的环境变量，可以使用pyspark命令运行jupyter笔记本：

export PYSPARK_DRIVER_PYTHON=jupyter
export IPYTHON=1
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --port=XXX --ip=YYY"

是您要用来访问笔记本的端口，yyy是ip地址。
现在只需运行pyspark并添加--jars作为开关，就像spark submit一样