hadoop文件系统拷贝-namenode vs datanode

rur96b6h  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(339)

我需要将文件系统中的a文件复制到hdfs中,下面是hdfs-site.xml中的配置。如何使用“hadoop fs”命令将/home/text.txt中的文件复制到hdfs中?我应该把它复制到namenode还是datanode?

<configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/datanode</value>
 </property>
</configuration>
zhte4eai

zhte4eai1#

你用什么hadoop版本?目录 dfs.namenode.name.dir 用于存储元数据和目录 dfs.datanode.data.dir 用于存储真实数据(如用户数据)。
如果要将文件上载到hdfs,则无需将其复制到namenode或datanode。因为hdfs可以做到。最后,您的数据将存储在datanode上。
你可以使用commond bin/hadoop fs -mkdir /input 以及 bin/hadoop fs copyFromLocal /home/text.txt /input . 第一种方法是在hdfs上创建目录“input”,第二种方法是将文件复制到hdfs。

相关问题