如何在aws databricks上设置spark.task.maxfailures?

ovfsdjhp  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(262)

我想将spark.task.maxfailures设置为大于4的值。使用databricks6.4运行时,如何设置此值?
当我执行spark.conf.get(“spark.task.maxfailures”)时,我得到以下错误

java.util.NoSuchElementException: spark.task.maxFailures

以前有人在数据库里设置过这个吗?
我知道我可以用

spark.conf.set("spark.task.maxFailures", 10)

但是,不确定这是必须在集群启动时设置还是可以在之后设置?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题