我正在尝试建立一个apachemesos集群并在其上运行hadoop作业。这里的文档不符合我的水平，因此我无法理解，也许这里有人可以解释我：首先，我应该建立一个工作的hadoop集群吗？还是先建立一个中观星团？我该把奴隶们带到哪里去？在hadoop slaves文件或注册的mesos slaves中应该只使用吗？
envsm3lx1#
mesos的目标是为集群运行一个抽象，其中hadoop只是一个服务。为了使其工作，您需要首先将mesos集群设置为主要组件，然后可以开始使用mesos抽象向集群添加hadoop之类的服务。有一个来自mesosphere的优秀教程，你应该看看，它详细解释了如何在mesos上运行hadoop，所以这将是一个很好的开始。或者，这家公司最近开始为elastic mesos提供服务，性质类似于amazon的elastic mapreduce。因此，如果您想快速开始在mesos上使用hadoop，而不必经历配置一切的痛苦，那么这是一个很好的开始。
z5btuh9x2#
一旦设置并运行了mesos群集，使从属服务器显示在mesos webui中，就可以通过执行以下步骤向其添加hadoop：首先，您必须设置hdfs。cloudera的hadoop发行版是一种简单的方法。只需按照此链接上的说明进行设置。这将自动为您设置用户帐户以运行mapreduce作业您只需要在主节点上运行namenode，在从节点上运行datanode。导航到localhost:50070 will 向您显示namenode已启动并正在运行，还将给出正在运行的datanode的列表。你现在不需要tasktracker或jobtracker下一步要在mesos上集成hadoop，请访问github存储库。在您的pc上克隆它，并按照自述文件中的说明进行操作此时，您将有一个jobtracker在您的主机上运行。导航到localhost:50030 to 查看jobtracker正在运行。你的奴隶不需要任务追踪者。mesos将使用您上传到hdfs的tar文件为您自动启动它们你也可以参考中间层教程的任何疑问。只是不要遵循那里的所有步骤，因为它们不是最新的mesos版本。
2条答案
按热度按时间envsm3lx1#
mesos的目标是为集群运行一个抽象，其中hadoop只是一个服务。为了使其工作，您需要首先将mesos集群设置为主要组件，然后可以开始使用mesos抽象向集群添加hadoop之类的服务。
有一个来自mesosphere的优秀教程，你应该看看，它详细解释了如何在mesos上运行hadoop，所以这将是一个很好的开始。
或者，这家公司最近开始为elastic mesos提供服务，性质类似于amazon的elastic mapreduce。因此，如果您想快速开始在mesos上使用hadoop，而不必经历配置一切的痛苦，那么这是一个很好的开始。
z5btuh9x2#
一旦设置并运行了mesos群集，使从属服务器显示在mesos webui中，就可以通过执行以下步骤向其添加hadoop：
首先，您必须设置hdfs。cloudera的hadoop发行版是一种简单的方法。只需按照此链接上的说明进行设置。这将自动为您设置用户帐户以运行mapreduce作业
您只需要在主节点上运行namenode，在从节点上运行datanode。导航到localhost:50070 will 向您显示namenode已启动并正在运行，还将给出正在运行的datanode的列表。你现在不需要tasktracker或jobtracker
下一步要在mesos上集成hadoop，请访问github存储库。在您的pc上克隆它，并按照自述文件中的说明进行操作
此时，您将有一个jobtracker在您的主机上运行。导航到localhost:50030 to 查看jobtracker正在运行。你的奴隶不需要任务追踪者。mesos将使用您上传到hdfs的tar文件为您自动启动它们
你也可以参考中间层教程的任何疑问。只是不要遵循那里的所有步骤，因为它们不是最新的mesos版本。