hadoop单集群用户

wvt8vs2t  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(276)

我在这里阅读这份文件:
http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-common/singlecluster.html#pseudo-分布式操作
它有以下项目:

Make the HDFS directories required to execute MapReduce jobs:    

$ bin/hdfs dfs -mkdir /user    
$ bin/hdfs dfs -mkdir /user/<username>

我不清楚是什么 <username> 应该在这里。
这是我为hadoop或其他东西创建的linux专用用户吗?
我是hadoop的初学者,今天刚安装
我只是想举几个基本的例子。

wyyhbhjk

wyyhbhjk1#

用户名对应于hdfs中的一个用户。因此,您可以在这里创建一个与您的linux帐户或其他帐户相同的用户。例如,如果安装了hive、spark或hbase,则必须创建它们的目录才能运行此服务。

fwzugrvs

fwzugrvs2#

简而言之:它不必是任何用户名,它只是您选择在hdfs中调用您希望将输出放在其中的目录。但是使用 /user/<username> 是惯例和良好做法。
冗长的回答:peter,把“hadoop用户名”仅仅看作是一种在hdfs中保存你的东西的方法,与其他同样使用hadoop集群的人不同。它实际上只是您正在创建或使用的目录的名称 /user 在hdfs中。你不一定要“登录”才能使用hadoop,但是hadoop用户名通常只是模仿你的标准用户名/配置文件。
例如,在我以前的雇主,每个人的登录(比如电子邮件地址、聊天客户端、访问应用程序、连接服务器、开发代码等等——几乎所有在工作中需要用户名和密码的东西)的格式都是 <firstname.lastname>, 所以我们可以用这种方式登录所有的东西。我们大多数人对网格有执行权限,所以 ssh 到适当的服务器(例如。 $ssh trevor.allen@server-of-awesomeness ),在那里我们有权对网格执行mapreduce作业。就像我的用户总是 first.last 在我自己的机器上,以及在我们所有的linux服务器上(例如,home in) /home/trevor.allen/ ),我们也将遵循hdfs中的这一先例,将hdfs的任何输出指向 /user/first.last . 当然,由于“用户名”是任意的(实际上只是一个目录的名称),您偶尔会看到输入错误( /user/john.deo )或者有人把linux的 usr 约定和hadoop user 惯例( /user/john.doe/usr/john.doe ),而且只是随机的删除姓氏( /user/john ),等等。
希望有帮助!

u0njafvf

u0njafvf3#

这里的用户名是您用来登录hadoop的用户名。默认情况下,它是一个用户帐户名。

相关问题