在oozie中运行spark操作时磁盘空间配额异常

zqdjd7g9  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(215)

我正试着在oozie做一个有Spark的动作。我的spark作业失败,错误如下:

The DiskSpace quota of /user/nidhin is exceeded: quota = 10737418240 B = 10 GB but diskspace consumed = 10973426088 B = 10.22 GB

我在我的oozie工作流中添加了staging dir属性,并指向一个hdfs目录,而不是home目录,它有tbs的空间,即使这样我也会得到相同的错误。

<action name="CheckErrors" cred="hcat">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>yarn</master>
            <mode>cluster</mode>
            <name>JobName</name>
            <class>com.nidhin.util.CheckErrorsRaw
            </class>
            <jar>${processor_jar}</jar>
            <spark-opts>--queue=${queue_name}
                --num-executors 0
                --conf spark.dynamicAllocation.enabled=true
                --conf spark.shuffle.service.enabled=true
                --conf spark.yarn.stagingDir=${hdfs_data_base_dir}
            </spark-opts>
            <arg>${load_dt}</arg>
        </spark>
        <ok to="End" />
        <error to="Kill" />
    </action>

${hdfs\u data\u base\u dir}是hdfs中的/tenants/proj/directory,其中有tbs的空间。
当我查看spark jobtracker ui时,该属性得到了正确的反映。

spark.yarn.stagingDir   hdfs://tenants/proj/

如何修复此错误并指向上述stagingdir?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题