在群集模式下提交python作业时，我遇到以下错误：
appcache/application\u 1548793257188\u 803870/container\u e80\u 1548793257188\u 803870\u 01\u000001/environment/lib/python2.7/site packages/confluent\u kafka/init.py“，第2行，from.cimpl import（consumer，#noqa importerror:librdkafka.so.1:无法打开共享对象文件：没有这样的文件或目录
librdkafka和其他python依赖项仅安装在边缘节点上。在提交之前，我创建了一个虚拟环境，pip通过以下方式安装confluent kafka：

pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org --no-binary :all: confluent-kafka

在那之后，我创建environment.tar.gz并将其传递给spark submit--归档
我试过这样设置spark属性：

--conf spark.executorEnv.LD_LIBRARY_PATH=/usr/lib64:environment/lib/python2.7/site-packages/confluent_kafka/.libs"
--conf spark.driver.extraLibraryPath=/usr/lib64:environment/lib/python2.7/site-packages/confluent_kafka/.libs"
--conf spark.yarn.appMasterEnv.LD_LIBRARY_PATH=environment/lib/python2.7/site-packages/confluent_kafka/.libs"

但不幸的是，它没有工作！
有人面临同样的问题吗？