HDFS 是否需要在hadoop.tmp.directoryhadoop-3.3.1的core-site.xml中配置www.example.com?

aurhwmvo  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(206)

由于我是大数据领域的初学者,安装了Hadoop 3.3.1和Hive,并在Hive上上传了数据,我有一些疑问和困惑:
1.我还没有hadoop.tmp.directory在core-site.xml中配置www.example.com,但是在hdfs-site.xml中配置了datanode和namenode目录路径。如果我不配置core-site.xml中的tmp目录,这会影响我的mapreduce工作吗?
1.由于我已经集群了从节点和主节点,还安装了hive和上传的数据,现在如果我在任何集群主节点或任何一个从节点中更改配置(重新配置,如core-site.xml中的tmp目录路径),那么我是否应该在每次重新配置后执行hdfs namenode -format,格式化namenode会丢失hive和上传的数据吗?
1.这是我的hdfs-site.xml和core-site.xml配置。请告诉我这些配置是否正确。
core-site.xml:

<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://hadoop-master:9000</value>
</property>
</configuration>

主文件中的hdfs-site.xml:

<configuration>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
</configuration>

从属服务器中的hdfs-site.xml:

<configuration>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
</configuration>
64jmpszr

64jmpszr1#

hadoop.tmp.dir默认为/tmp/hadoop-${user.name}。没有特别的原因需要更改它
是的,重新格式化namenode会删除所有HDFS数据,但不会截断配置单元元存储

相关问题