我正在使用sparksubmitoperator,但是我没有看到任何与spark的部署模式等价的东西。如何指定它是客户端还是群集?
这是SparkSubmitor操作器的执行器的签名:
@apply_defaults
def __init__(self,
application='',
conf=None,
conn_id='spark_default',
files=None,
py_files=None,
archives=None,
driver_class_path=None,
jars=None,
java_class=None,
packages=None,
exclude_packages=None,
repositories=None,
total_executor_cores=None,
executor_cores=None,
executor_memory=None,
driver_memory=None,
keytab=None,
principal=None,
proxy_user=None,
name='airflow-spark',
num_executors=None,
status_poll_interval=1,
application_args=None,
env_vars=None,
verbose=False,
spark_binary="spark-submit",
*args,
**kwargs):
我在谷歌上搜索了几个小时,但什么也没找到。
1条答案
按热度按时间ilmyapht1#
转到管理->连接菜单:
在额外字段中编辑默认参数和
{“部署模式”:“集群”}