在python代码中添加spark命令的位置

4c8rllxm  于 2021-06-10  发布在  Cassandra
关注(0)|答案(0)|浏览(141)

我对这个世界很陌生,所以我还有一个问题。很高兴知道我可以用spark shell或python代码编写spark命令,因此:

pyspark --packages com.datastax.spark:spark-cassandra-connector_2.11:2.5.1\ 
        --files path_to/secure-connect-test.zip \
        --conf spark.cassandra.connection.config.cloud.path=secure-connect-test.zip \
        --conf spark.cassandra.auth.username=UserName \
        --conf spark.cassandra.auth.password=Password \
        --conf spark.dse.continuousPagingEnabled=false

这部分代码,如果我想在python代码中编写,是否必须使用os.environ命令添加它?我见过一些帖子使用这个命令,但是它们添加了一个变量。谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题