我用httpclient从hadoop服务器下载了文件。但是其他人说它不利于安全，因为它不需要输入用户id，所以我必须将它改为webhdfs或hdfs。我必须连接hadoop，它不是我的。所以我不知道它的所有配置。他们告诉我唯一的用户名，一些ip地址和端口。但是java程序中的hdfs客户端需要很多配置。hdfs客户机是否需要core-site.xml和hdfs-site.xml来进行配置？或者我有别的办法解决吗？
lqfhib0f1#
为了正确地与hdfs通信，客户机需要知道配置参数。这就是这两个文件的全部内容，客户端需要从这两个文件进行配置。正如这里所说：core-site.xml文件通知hadoop守护进程namenode在集群中运行的位置。它包含hadoop核心的配置设置，例如hdfs和mapreduce所共有的i/o设置。hdfs-site.xml文件包含hdfs守护程序的配置设置；namenode、secondary namenode和datanodes。但在java代码中，所有配置（无论来自哪个文件）都由 org.apache.hadoop.conf.Configuration . 因此，您可以将所有内容放在一个配置对象中。希望这能回答你的问题。
org.apache.hadoop.conf.Configuration
1条答案
按热度按时间lqfhib0f1#
为了正确地与hdfs通信，客户机需要知道配置参数。这就是这两个文件的全部内容，客户端需要从这两个文件进行配置。正如这里所说：
core-site.xml文件通知hadoop守护进程namenode在集群中运行的位置。它包含hadoop核心的配置设置，例如hdfs和mapreduce所共有的i/o设置。
hdfs-site.xml文件包含hdfs守护程序的配置设置；namenode、secondary namenode和datanodes。
但在java代码中，所有配置（无论来自哪个文件）都由
org.apache.hadoop.conf.Configuration. 因此，您可以将所有内容放在一个配置对象中。希望这能回答你的问题。