在两个不同版本的hadoop之间进行数据传输时获取校验和不匹配

bkhjykvo 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(312)

我是hadoop新手，我正在使用distcp命令在hadoop0.20和hadoop2.2.0之间传输数据。在转学期间，我发现以下错误：
校验和不匹配hftp://10.0.3.28：50070/hive/warehouse/staging\u precall\u cdr/operator=idea/precall\u cdr\u assam\u oct\u jan.csv和hdfs://10.0.20.118：9000/user/hive/warehouse/precall\u cdr\u assam\u oct\u jan.csv
我用过 -skipcrccheck 以及 -Ddfs.checksum.type=CRC32 但也没有得到任何解决办法。解决方案将不胜感激。

hadoop

来源：https://stackoverflow.com/questions/22905411/getting-check-sum-mismatch-during-data-transfer-between-two-different-version-of

1条答案

按热度按时间

kokeuurv1#

在jira中，复制0.20到2.2.0hadoop版本之间的数据似乎是一个已知的问题https://issues.apache.org/jira/browse/hdfs-3054.
解决这个问题的一个方法是使用-pbc在distcp复制中启用preserve block和check sum。 hadoop distcp -pbc <SRC> <DEST>

赞(0）回复(0）举报 2021-06-04

我来回答

在两个不同版本的hadoop之间进行数据传输时获取校验和不匹配

1条答案

相关问题

热门标签

最新问答