我对这个世界很陌生,所以我还有一个问题。很高兴知道我可以用spark shell或python代码编写spark命令,因此:
pyspark --packages com.datastax.spark:spark-cassandra-connector_2.11:2.5.1\
--files path_to/secure-connect-test.zip \
--conf spark.cassandra.connection.config.cloud.path=secure-connect-test.zip \
--conf spark.cassandra.auth.username=UserName \
--conf spark.cassandra.auth.password=Password \
--conf spark.dse.continuousPagingEnabled=false
这部分代码,如果我想在python代码中编写,是否必须使用os.environ命令添加它?我见过一些帖子使用这个命令,但是它们添加了一个变量。谢谢
暂无答案!
目前还没有任何答案,快来回答吧!