考虑以下情况:我让namenode user说nn-user-01,这意味着nn-user-01必须对集群中存在的所有datanode使用无密码ssh,这样namenode和datanode之间的所有通信都可以顺利处理,对吗?现在考虑一个案例,当我需要提交一个来自namenode的不同用户的作业时,比如说nn-user-02,我需要在nn-user-02和所有datanode之间设置无密码ssh吗?有什么办法处理这种情况吗?
7ivaypg91#
不!用户nn-user-02只需要访问hdfs上/user目录中的一个新目录,例如:/user/nn-user-02。作为记录,任何节点上的任何用户都不必对所有节点使用无密码ssh。原因如下:namenode根本不与datanodes通信。只有datanode与namenode通信。因此,默认情况下,您不需要任何用户对所有数据节点都使用无密码ssh。也就是说,我们通常有从一个节点(任何“一个”用户)到所有其他节点的无密码ssh,以便更容易地将配置文件(在hadoop集群的tarball/package安装中更改时)无缝地分发到所有节点,而无需每次输入密码。
1条答案
按热度按时间7ivaypg91#
不!用户nn-user-02只需要访问hdfs上/user目录中的一个新目录,例如:/user/nn-user-02。作为记录,任何节点上的任何用户都不必对所有节点使用无密码ssh。原因如下:
namenode根本不与datanodes通信。只有datanode与namenode通信。因此,默认情况下,您不需要任何用户对所有数据节点都使用无密码ssh。也就是说,我们通常有从一个节点(任何“一个”用户)到所有其他节点的无密码ssh,以便更容易地将配置文件(在hadoop集群的tarball/package安装中更改时)无缝地分发到所有节点,而无需每次输入密码。