copyfromlocalfile在cdh4中不起作用

3duebb1j  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(252)

我已经在amazon云(1个服务器)的Ubuntu12LTS服务器上成功安装了cdh4。我使用cloudera manager免费版安装软件,没有错误)。
我有一个程序,它使用javaapi将一个文件从我的家庭计算机加载到云中的hdfs。我想知道为什么这个程序失败,以及如何修复它。

Configuration conf = new Configuration();       
conf.set("fs.defaultFS", "hdfs://node01:8020");
FileSystem fs = FileSystem.get(conf);       
Path targetPath = new Path("/users/<username>/myfile.txt");
Path sourcePath = new Path("/home/<username>/myfile.txt");
fs.copyFromLocalFile(false,true,sourcePath,targetPath);

我得到以下错误(namenode日志):

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/<username>/myfile.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1322)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2170)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:471)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:297)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44080)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:898)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1693)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1689)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1687)

然后我将我的代码上传到云端,并在本地运行代码(将一个文件从本地fs上传到hdfs),没有任何错误。它只发生在我从我的个人电脑运行代码时。。。
当我在云服务器上使用cli'hadoop fs-put'命令时,我在写入hdfs时没有收到任何错误。我也可以上传文件使用色调。我做了一些阅读,发现这个问题发生时,没有足够的磁盘空间,但我有足够的dfs和非dfs(见下面的报告)。我可以用javaapi从我的家用计算机上成功地读取hadoop文件系统,甚至可以用api从hbase连接和读写。此服务器上的所有端口都对我的ip开放。已检查文件权限。程序失败后,我看到我试图在hdfs中上载的文件,但内容是空的(类似于本文:https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!主题/cdh用户/xwa-3h0ekyy)
下面是hdfs dfsadmin-report的输出

Configured Capacity: 95120474112 (88.59 GB)
Present Capacity: 95120474112 (88.59 GB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used: 81465344 (77.69 MB)
DFS Used%: 0.09%
Under replicated blocks: 177
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: privateip:port (node01)
Hostname: node01
Rack: /default
Decommission Status : Normal
Configured Capacity: 95120474112 (88.59 GB)
DFS Used: 81465344 (77.69 MB)
Non DFS Used: 0 (0 KB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used%: 0.09%
DFS Remaining%: 99.91%
Last contact: Sun Jan 27 03:01:53 UTC 2013
4bbkushb

4bbkushb1#

我已经解决了这个问题-
我是从我的家庭计算机连接到hadoop的,而不是在hadoop本地网络上。显然,当您这样做时,namenode会告诉我的家庭计算机使用datanode的私有ip向datanode写入数据。由于不在同一网络上,我的家庭计算机无法连接到产生此错误的datanode。
我通过创建一个从我的家庭网络到hadoop网络的vpn连接解决了这个问题,现在一切正常了。

相关问题