我想将spark.task.maxfailures设置为大于4的值。使用databricks6.4运行时,如何设置此值?
当我执行spark.conf.get(“spark.task.maxfailures”)时,我得到以下错误
java.util.NoSuchElementException: spark.task.maxFailures
以前有人在数据库里设置过这个吗?
我知道我可以用
spark.conf.set("spark.task.maxFailures", 10)
但是,不确定这是必须在集群启动时设置还是可以在之后设置?
暂无答案!
目前还没有任何答案,快来回答吧!