我是hadoop新手，尝试在hadoop群集上运行作业时遇到以下异常：
org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for jobcache/job_201409031055_3865/jars/job.jar
at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:376)
at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:146)
at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:127)
at org.apache.hadoop.mapred.JobLocalizer.localizeJobJarFile(JobLocalizer.java:268)
at org.apache.hadoop.mapred.JobLocalizer.localizeJobFiles(JobLocalizer.java:380)
at org.apache.hadoop.mapred.JobLocalizer.localizeJobFiles(JobLocalizer.java:370)
at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:232)
at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1381)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java有人能告诉我问题出在哪里，怎么解决吗？
2条答案
按热度按时间z0qdvdin1#
我也面临同样的问题。当我检查那个节点的磁盘信息时，我知道它大约100%被使用了。因此，我在该节点中相应地添加了一个新磁盘（更改hdfs-site.xml dfs.data.dir）。然后重新启动节点守护进程，我的问题就解决了。
kzipqqlq2#
mr将map reduce作业期间的中间数据存储在本地目录中。它将在
mapreduce.cluster.local.dir在mapred-site.xml中。请根据输入文件大小验证目录中是否有足够的空间。此外，您可以尝试压缩中间输出文件以最小化空间消耗。