在hadoop中,jobtracker和tasktracker之间的区别和关系是什么?

dldeef67  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(601)

正如标题所说,在hadoop中,jobtracker和tasktracker之间的区别和关系是什么?谁能给我解释一下,谢谢你的好意!

efzxgjgh

efzxgjgh1#

求职者-

jobtracker进程在单独的节点上运行,通常不在datanode上运行。
jobtracker是mrv1中mapreduce执行的基本守护程序。在mrv2中,它被resourcemanager/applicationmaster替代。
jobtracker从客户端接收mapreduce执行请求。
jobtracker与namenode通信以确定数据的位置。
jobtracker根据数据位置(数据的接近度)和在给定节点上执行任务的可用插槽,查找执行任务的最佳tasktracker节点。
jobtracker监视单个TaskTracker,并将作业的总体状态提交回客户端。
jobtracker进程对于hadoop集群的mapreduce执行至关重要。
当jobtracker关闭时,hdfs仍将正常工作,但mapreduce执行无法启动,现有的mapreduce作业将停止。

任务跟踪器-

tasktracker在datanode上运行。主要是在所有数据节点上。
在mrv2中,tasktracker被节点管理器取代。
tasktracker将与jobtracker保持持续通信,用信号通知正在执行的任务的进度。
mapper和reducer任务在TaskTracker管理的数据节点上执行。
TaskTracker将分配mapper和reducer任务由jobtracker执行。
tasktracker失败不被认为是致命的。当tasktracker没有响应时,jobtracker会将tasktracker执行的任务分配给另一个节点。

相关问题