所以我有一台主机和三台从机 slaves 主机上的文件包含以下条目:
slaves
master slave1 slave2 slave3
我是否必须在所有从机中放置同一个从机文件,或者我是否应该删除具有主文件的第一行,然后将其放置在从机中?
0h4hbjxa1#
conf/master文件对应于辅助名称节点,conf/slaves文件对应于tasktracker/datanode。基于伪分布式或完全分布式的集群配置,主/从文件配置会发生变化。在伪分布式模式下运行时,主/从主机将具有localhost,而在完全分布式模式下,它们将具有适当的主机名。这些文件需要存在于主文件中,而不是在从文件中。检查apache文档中关于主/从配置文件的用途,这将明确文件的放置位置。
ao218c7q2#
仍然需要从属文件http://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/clustersetup.html从属文件列出etc/hadoop/slaves文件中的所有从属主机名或ip地址,每行一个。助手脚本(如下所述)将使用etc/hadoop/slaves文件一次在多个主机上运行命令。它不用于任何基于java的hadoop配置。为了使用此功能,必须为用于运行hadoop的帐户建立ssh信任(通过无密码ssh或其他方式,如kerberos)。
2条答案
按热度按时间0h4hbjxa1#
conf/master文件对应于辅助名称节点,conf/slaves文件对应于tasktracker/datanode。基于伪分布式或完全分布式的集群配置,主/从文件配置会发生变化。在伪分布式模式下运行时,主/从主机将具有localhost,而在完全分布式模式下,它们将具有适当的主机名。
这些文件需要存在于主文件中,而不是在从文件中。检查apache文档中关于主/从配置文件的用途,这将明确文件的放置位置。
ao218c7q2#
仍然需要从属文件
http://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/clustersetup.html
从属文件
列出etc/hadoop/slaves文件中的所有从属主机名或ip地址,每行一个。助手脚本(如下所述)将使用etc/hadoop/slaves文件一次在多个主机上运行命令。它不用于任何基于java的hadoop配置。为了使用此功能,必须为用于运行hadoop的帐户建立ssh信任(通过无密码ssh或其他方式,如kerberos)。