如何登录到实时公司hadoop集群?

00jrzges  于 2021-05-31  发布在  Hadoop
关注(0)|答案(3)|浏览(368)

我是hadoop环境的新手。我加入了一家公司,得到了kt和项目所需的文件。他们要求我登录集群并立即开始工作。有人能告诉我登录的步骤吗?

fnx2tebb

fnx2tebb1#

通常,您会有边缘节点,即安装了所有客户端的客户端节点
hdfs客户端
sqoop客户端
配置单元客户端等。
您需要获取这些计算机的主机名/ip地址。如果您使用的是windows,那么可以使用putty通过用户名和密码或 .ppk 为这些节点提供的文件。
在我看来,任何公司都会有一个基础设施团队,用hadoop集群配置ldap,它允许所有用户通过向组角色提供/添加您的id。
顺便说一句,你在用cloudera/mapr/hortonworks吗?每个发行版都有自己的方式和最佳实践。

o2gm4chl

o2gm4chl2#

我假设kt意味着知识转移。另外,项目文档是关于应用程序的,而不是关于hadoop集群/infra的。
我将遵循以下过程:1)从您的团队或techops中找出边缘节点(也称为客户机节点)的名称。还要了解您是否将使用一些通用的linux用户(比如“develteam”),或者您必须在边缘节点上创建一个用户。
2) 假设您是从windows访问,安装一些ssh客户端(比如putty)。
3) 使用凭据登录到边缘节点(如#1中的一般用户或特定用户)。
4) 运行以下命令检查您是否在hadoop群集上:

> hadoop version

5) 通过键入以下命令尝试配置单元外壳:

> hive

6) 尝试运行以下hdfs命令:

> hdfs dfs -ls /

6) 询问团队成员在哪里可以找到该集群的hadoop配置。您很可能没有写权限,但可能需要对以下文件进行cat以了解集群:

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
qyswt5oh

qyswt5oh3#

不太清楚你在登录什么。你应该向你的同事征求意见。
不过,听起来您有一个kerberos密钥表,您可以运行

kinit -k key.kt

这里可能有其他必要的参数,例如所谓的主体,但只有集群管理员才能回答需要的问题。
验证您的票证是否有效

klist

相关问题