了解htfpurl和hdfs路径之间的区别

cotxawn7  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(630)

这个差异是在周末出现的,当时我正试图通过网络在不同的集群(在房间中物理上分开)之间传输大量数据 hftp 通过做

hadoop distcp hftp-path-src hftp-path-dst
``` `hftp` url类似于 `hftp://node:50070/more/path` 它中途失败了,在一些文件上。罗格斯说
未处理的内部错误。vertex失败,vertexname=scope-152。。。
我手动检查了那些文件,没有发现任何可疑的东西。我也试过以下方法 `Pig` 看能不能给我一个惊喜

data = LOAD '$src_hftp' USING PigStorage('\t', '-schema');
STORE data INTO '$dst_hftp' USING PigStorage('\t', '-schema');

,这条消息失败得很惨
“…由于vertex\u失败,dag未成功”
现在呢

hadoop distcp hdfs-path-src hdfs-path-dst

与 `hdfs-path` 就像 `hdfs://namenode:8020/more/path` .
效果不错。什么?为什么?
非常感谢。
===========================================
为了回应@rahulbmv的回答,我确实尝试过

hadoop distcp hftp-path-src hdfs-path-dst

在中途也失败了,我可以在屏幕上看到一些传输的文件 `dst` hdfs,其他失踪。所以我觉得这无关紧要。我提到的参考文献是http://www.cloudera.com/documentation/archive/cdh/4-x/4-7-1/cdh4-installation-guide/cdh4ig_topic_7_2.html.
我还尝试登录 `dst` namenode服务器

hadoop distcp hftp-path-src normal-path-without-hdfs-or-hftp

同样的错误也发生了。
但是是的,写入端口应该使用 `hdfs` 协议。通过使用 `hdfs` 协议,错误持续存在。在@rahulbmv指出之后,唯一的区别实际上是读者使用的协议。今天晚些时候我将返回并挖掘错误消息。
r6vfmomb

r6vfmomb1#

hftp是一个只读文件系统。所以您不能复制到hftp目的地。也就是说,你应该能够做到 hadoop distcp hftp-path-src hdfs-path-dst 不过。您可以在这里阅读更多关于hftp及其支持的操作的信息。

相关问题