hadoop从属文件配置

tv6aics1  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(332)

所以我有一台主机和三台从机 slaves 主机上的文件包含以下条目:

master
slave1
slave2
slave3

我是否必须在所有从机中放置同一个从机文件,或者我是否应该删除具有主文件的第一行,然后将其放置在从机中?

0h4hbjxa

0h4hbjxa1#

conf/master文件对应于辅助名称节点,conf/slaves文件对应于tasktracker/datanode。基于伪分布式或完全分布式的集群配置,主/从文件配置会发生变化。在伪分布式模式下运行时,主/从主机将具有localhost,而在完全分布式模式下,它们将具有适当的主机名。
这些文件需要存在于主文件中,而不是在从文件中。检查apache文档中关于主/从配置文件的用途,这将明确文件的放置位置。

ao218c7q

ao218c7q2#

仍然需要从属文件
http://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/clustersetup.html
从属文件
列出etc/hadoop/slaves文件中的所有从属主机名或ip地址,每行一个。助手脚本(如下所述)将使用etc/hadoop/slaves文件一次在多个主机上运行命令。它不用于任何基于java的hadoop配置。为了使用此功能,必须为用于运行hadoop的帐户建立ssh信任(通过无密码ssh或其他方式,如kerberos)。

相关问题