当使用PySaprk并使用以下语句获取Spark Session时：
spark = SparkSession.builder .appName("sample-app") .getOrCreate()
应用程序工作正常，但我不确定哪个集群管理器正在使用此spark会话。它是本地的还是独立的。我通读了文档，但没有找到这个东西的文档。他们告诉什么是独立的和本地的集群管理器，但没有提到哪个是默认选项。
7vux5j2d1#
这取决于多个因素-它是否与spark-submit一起提交，其中可能指定了--master选项，如果在配置文件中指定了master，等等。所有这些都在Spark documentation中描述。如果您只是将此代码作为Python脚本运行，那么它将是local[*]，这意味着它将在所有内核上本地运行。
spark-submit
--master
local[*]
1条答案
按热度按时间7vux5j2d1#
这取决于多个因素-它是否与
spark-submit一起提交，其中可能指定了--master选项，如果在配置文件中指定了master，等等。所有这些都在Spark documentation中描述。如果您只是将此代码作为Python脚本运行，那么它将是
local[*]，这意味着它将在所有内核上本地运行。