我一直试图读/写与突触Spark池到一个mongodb atlas服务器,我已经尝试PyMongo,但我更感兴趣的是使用mongodb spark connector,但在安装过程中,他们使用这个命令:
./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
--conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
--packages org.mongodb.spark:mongo-spark-connector_2.12:3.0.1
我面临的问题是Synapse Spark Pools允许spark会话配置,但不允许packacges命令或使用spark shell,我如何在spark Pools中完成此安装?
1条答案
按热度按时间xwbd5t1u1#
这可以通过直接在workspace packages下安装jar来解决。下载连接器的jar,然后上传到synapse,再到spark pool。