sparksubmitoperator部署模式

eeq64g8w  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(426)

我正在使用sparksubmitoperator,但是我没有看到任何与spark的部署模式等价的东西。如何指定它是客户端还是群集?
这是SparkSubmitor操作器的执行器的签名:

@apply_defaults
def __init__(self,
             application='',
             conf=None,
             conn_id='spark_default',
             files=None,
             py_files=None,
             archives=None,
             driver_class_path=None,
             jars=None,
             java_class=None,
             packages=None,
             exclude_packages=None,
             repositories=None,
             total_executor_cores=None,
             executor_cores=None,
             executor_memory=None,
             driver_memory=None,
             keytab=None,
             principal=None,
             proxy_user=None,
             name='airflow-spark',
             num_executors=None,
             status_poll_interval=1,
             application_args=None,
             env_vars=None,
             verbose=False,
             spark_binary="spark-submit",
             *args,
           **kwargs):

我在谷歌上搜索了几个小时,但什么也没找到。

ilmyapht

ilmyapht1#

转到管理->连接菜单:
在额外字段中编辑默认参数和
{“部署模式”:“集群”}

相关问题