我正试着在oozie做一个有Spark的动作。我的spark作业失败,错误如下:
The DiskSpace quota of /user/nidhin is exceeded: quota = 10737418240 B = 10 GB but diskspace consumed = 10973426088 B = 10.22 GB
我在我的oozie工作流中添加了staging dir属性,并指向一个hdfs目录,而不是home目录,它有tbs的空间,即使这样我也会得到相同的错误。
<action name="CheckErrors" cred="hcat">
<spark xmlns="uri:oozie:spark-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn</master>
<mode>cluster</mode>
<name>JobName</name>
<class>com.nidhin.util.CheckErrorsRaw
</class>
<jar>${processor_jar}</jar>
<spark-opts>--queue=${queue_name}
--num-executors 0
--conf spark.dynamicAllocation.enabled=true
--conf spark.shuffle.service.enabled=true
--conf spark.yarn.stagingDir=${hdfs_data_base_dir}
</spark-opts>
<arg>${load_dt}</arg>
</spark>
<ok to="End" />
<error to="Kill" />
</action>
${hdfs\u data\u base\u dir}是hdfs中的/tenants/proj/directory,其中有tbs的空间。
当我查看spark jobtracker ui时,该属性得到了正确的反映。
spark.yarn.stagingDir hdfs://tenants/proj/
如何修复此错误并指向上述stagingdir?
暂无答案!
目前还没有任何答案,快来回答吧!