最近我开始学习hadoop多集群文件系统的工作原理在hadoop中。例如,如果我有一个test.txt文件中的农民的全部细节。我是否需要上传文件在主hdfs服务器或在从属服务器。
x6492ojm1#
首先,你需要上传file:text.txt to 集群的一个节点(可以是主服务器或从服务器),例如,上传到/tmp foler,得到:/tmp/text.txt,然后使用以下命令:
# hadoop fs -put /tmp/text.txt /tmp
然后使用命令:
# hadoop fs -ls /tmp
你会发现file:text.txt has 已经在hdfs文件夹中:/tmp
vmpqdwk32#
要了解hadoop文件系统是如何工作的,请参阅hadoop:权威指南一书目前,要将文件加载到hdfs中,只需运行 -put 或者 -copyFromLocal 来自集群的edgenode的命令(意味着可以从何处运行 hadoop 命令),其余的将由hadoop框架处理。你的命令看起来像 hadoop fs 设置
-put
-copyFromLocal
hadoop
hadoop fs
$ hadoop fs -copyFromLocal /home/user1/farmer_details.txt /user/user1
或
$ hadoop fs -put /home/user1/farmer_details.txt /user/user1
你也可以试试 hdfs dfs 套
hdfs dfs
$ hdfs dfs -copyFromLocal /home/user1/farmer_details.txt /user/user1
$ hdfs dfs -put /home/user1/farmer_details.txt /user/user1
哪里 /home/user1/farmer_details.txt 是本地文件系统中的源位置 /user/user1 是hadoop文件系统中的目标位置。要验证上载的文件,可以运行命令
/home/user1/farmer_details.txt
/user/user1
$ hadoop fs -ls /user/user1
你应该得到 /user/user1/farmer_details.txt 文件。
/user/user1/farmer_details.txt
2条答案
按热度按时间x6492ojm1#
首先,你需要上传file:text.txt to 集群的一个节点(可以是主服务器或从服务器),例如,上传到/tmp foler,得到:/tmp/text.txt,然后使用以下命令:
然后使用命令:
你会发现file:text.txt has 已经在hdfs文件夹中:/tmp
vmpqdwk32#
要了解hadoop文件系统是如何工作的,请参阅hadoop:权威指南一书
目前,要将文件加载到hdfs中,只需运行
-put
或者-copyFromLocal
来自集群的edgenode的命令(意味着可以从何处运行hadoop
命令),其余的将由hadoop框架处理。你的命令看起来像hadoop fs
设置或
你也可以试试
hdfs dfs
套或
哪里
/home/user1/farmer_details.txt
是本地文件系统中的源位置/user/user1
是hadoop文件系统中的目标位置。要验证上载的文件,可以运行命令
你应该得到
/user/user1/farmer_details.txt
文件。