数据节点未启动..以下是日志文件

pgccezyw  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(341)
java.io.FileNotFoundException: File file:/hadoopuser/hdfs/datanode does not exist
        at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534)
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747)
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:409)
        at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:139)
        at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:156)
        at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2239)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2281)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2263)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2155)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2202)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2378)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2402)
2015-06-03 03:36:22,656 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/hadoopuser/hdfs/datanode"
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2290)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2263)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2155)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2202)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2378)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2402)
2015-06-03 03:36:22,659 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2015-06-03 03:36:22,674 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at ubuntu/127.0.1.1

************************************************************
kmpatx3s

kmpatx3s1#

你的jobtracker和tasktracker都没有启动,你怎么能得到他们的日志文件呢。

ryhaxcpt

ryhaxcpt2#

步骤1:为datanode创建一个新目录。更改所有权和权限。

su - hadoop

输入hadoop用户的密码。

sudo mkdir /usr/local/hdfs/datanode
sudo chmod -R 777 /usr/local/hdfs/datanode
sudo chown -R hadoop:hadoop /usr/local/hdfs/datanode

第2步:更改 dfs.datanode.data.dirhdfs-site.xml 作为:
改变这个

/hadoopuser/hdfs/datanode

/usr/local/hdfs/datanode

现在,重新启动hadoop进程。
注意:在“su-hadoop”中,hadoop是我的hadoop用户名。如果hadoop不是您的用户名,请将其更改为您用来启动和停止hadoop进程的用户名。

相关问题