由于“源的长度不匹配”,从集群到集群的hadoop复制失败

34gzjxbg  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(322)

我想将数据从一个集群复制到另一个集群。我用这个命令

hadoop distcp hdfs://SOURCE-NAMENODE:9000/dir/ \ hdfs://DESTINATION-NAMENODE:9000/

我得到这个信息:
18/04/11 12:05:37 info mapred.copymapper:复制hdfs://source-namenode:9000/source namenode/wals/x,185601523039740289/x%2c18560%2c1523039740289.default.1523445499108至hdfs://destination-namenode:9000/源名称节点/wals/x,18560,1523039740289/x%2c18560%2c1523039740289.default.1523445499108 18/04/11 12:05:37 info mapred.retriablefilecopycommand:创建临时文件:hdfs://destination-namenode:9000/.distcp.tmp.attempt\u local2084770019\u 0001\u m\u 000000\u 0 18/04/11 12:05:38错误util.retriablecommand:retriable命令失败:复制hdfs://source-namenode:9000/source namenode/wals/x,185601523039740289/x%2c18560%2c1523039740289.default.1523445499108至hdfs://destination-namenode:9000/源名称节点/wals/x,18560,1523039740289/x%2c18560%2c1523039740289.default.1523445499108 java.io.ioexception:长度不匹配source:hdfs://源-namenode:9000/source-namenode/wals/x,18560,1523039740289/x%2c18560%2c1523039740289.default.1523445499108和target:hdfs://目的地-namenode:9000/.distcp.tmp.attempt_local2084770019_0001_m_000000_0 位于org.apache.hadoop.tools.mapred.retriablefilecopycommand.comparefilelengths(retriablefilecopycommand)。java:193)...
在目的地上,我只看到创建的目录,没有任何文件。
有什么想法吗?

2cmtqfgy

2cmtqfgy1#

这可能是因为您正在复制一个正在写入的文件。

相关问题