有没有任何方法可以使用webhdfsrestapi下载hdfs文件？

mcvgt66p 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(442)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗？**更新问题，使其成为堆栈溢出的主题。

7年前关门了。
改进这个问题
有没有什么方法可以让我使用webhdfs restapi从hdfs下载一个文件？最接近的方法是使用open操作来读取文件并保存内容。

curl -i -L "http://localhost:50075/webhdfs/v1/demofile.txt?op=OPEN" -o ~/demofile.txt

有没有api可以让我直接下载文件而不必打开它？我浏览了官方文档，也尝试了谷歌，但没有找到任何东西。有人能给我指出正确的方向或给我指路吗？
非常感谢你宝贵的时间。

1条答案

您可能会为此使用datanode api（端口50075上的默认值），它支持 streamFile 你可以利用的命令。使用 wget 这看起来像：

wget http://$datanode:50075/streamFile/demofile.txt -O ~/demofile.txt

请注意，此命令需要在datanode本身上执行，而不是在namenode上执行！
或者，如果您不知道要点击哪个数据节点，可以询问jobtracker，它会用以下url将您重定向到正确的数据节点：

http://$namenode:50070/data/demofile.txt