webhdfs两步上传文件

avwztpqn  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(800)

我用4台机器构建了一个hadoop集群:
{主机名}:{ip地址}
硕士:192.168.1.60
从1:192.168.1.61
从动件2:192.168.1.62
从动件3:192.168.1.63
我用httpfs上传文件到hdfs用restful的方式,有两个步骤完成任务。
步骤1:提交HTTPPOST请求,而不自动执行重定向,也不发送文件数据。
“ curl -i-x柱”http://192.168.1.60:50070/webhdfs/v1/user/haduser/myfile.txt?op=append“
服务器返回如下结果:
location:http用法:/slave1:50075/webhdfs/v1/user/haduser/myfile.txt?op=create&user.name=haduser&namenoderpcadress=master:8020&overwrite=false
步骤2:使用响应地址上载文件。
在步骤1中,如何获取数据节点的ip地址(192.168.1.61)而不是主机名(slave1)?

jvlzgdj9

jvlzgdj91#

如果hadoop版本>=2.5,则在每个datanode配置${hadoop\u home}/etc/hadoop/hdfs-site.xml文件。添加:属性dfs.datanode.hostname,该值是datanodes的ip地址。

相关问题