我用的是giraph-1.3，它是用Yarn轮廓构建的。为了启动，我在ec2集群上配置了1个namenode和2个datanode。我的应用程序正常工作，因为我在日志（和输出目录）中看到预期的输出。我用“-w2”参数启动了giraph，因为我有两个datanode。
在datanode1的用户日志中，我找到了第一个worker的日志。
在datanode2的userlogs中，我找到了第二个worker的日志和master的日志。
我希望在namenode中找到master的日志，即我希望master在namenode上运行。对吗？
也许我必须配置另一个datanode，然后在这个新datanode上找到主日志？
2条答案
按热度按时间fzsnzjdm1#
我知道hadoop/giraph可以在数据节点上创建容器。hadoop为应用程序主机创建一个容器，然后giraph为主机创建一个容器。此外，giraph为worker创建了一个与-w参数对应的容器。
mzsu5hc02#
Yarn总是为每个作业创建一个应用程序主控形状。
根据您的工作负载，您可以启动任意数量的“worker”，但是由于您只有2个datanode，因此您只能有2个nodemanager来实现最大的并行性
nodemanager有一个最大的可用内存空间，用于作业任务的Yarn容器得到其中的一个子部分，以便进行处理。