Apache Spark池Mongodb连接器

yh2wf1be  于 2022-11-16  发布在  Apache
关注(0)|答案(1)|浏览(146)

我一直试图读/写与突触Spark池到一个mongodb atlas服务器,我已经尝试PyMongo,但我更感兴趣的是使用mongodb spark connector,但在安装过程中,他们使用这个命令:

./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
              --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
              --packages org.mongodb.spark:mongo-spark-connector_2.12:3.0.1

我面临的问题是Synapse Spark Pools允许spark会话配置,但不允许packacges命令或使用spark shell,我如何在spark Pools中完成此安装?

xwbd5t1u

xwbd5t1u1#

这可以通过直接在workspace packages下安装jar来解决。下载连接器的jar,然后上传到synapse,再到spark pool。

相关问题