我对核心示例和每个示例可以拥有的Map器之间的关系感到困惑。这些Map器是如何创建的？如果我将核心示例计数设置为0，那么只有主节点在运行，为什么mapreduce作业可以在没有任何任务节点的情况下运行？提前谢谢。
q43xntqr1#
这真是个好问题。我的猜测是，emr足够聪明，可以在没有核心节点或任务节点的情况下设置主节点来运行mapreduce作业。那是猜测。如果你想知道我是不是对的，那就启动一个集群。然后开始mapreduce作业，同时通过 jps -lm 并查看主节点上是否启动了任何Map程序进程。
jps -lm
e4yzc0pl2#
核心数意味着给定集群中每台机器上实现了多少个处理器。此外，每个核心可以运行一个Map器。您不必担心Map器的创建，因为hadoop框架可以帮您完成。
2条答案
按热度按时间q43xntqr1#
这真是个好问题。我的猜测是，emr足够聪明，可以在没有核心节点或任务节点的情况下设置主节点来运行mapreduce作业。那是猜测。
如果你想知道我是不是对的，那就启动一个集群。然后开始mapreduce作业，同时通过
jps -lm并查看主节点上是否启动了任何Map程序进程。e4yzc0pl2#
核心数意味着给定集群中每台机器上实现了多少个处理器。此外，每个核心可以运行一个Map器。
您不必担心Map器的创建，因为hadoop框架可以帮您完成。