正如标题所说,在hadoop中,jobtracker和tasktracker之间的区别和关系是什么?谁能给我解释一下,谢谢你的好意!
efzxgjgh1#
jobtracker进程在单独的节点上运行,通常不在datanode上运行。jobtracker是mrv1中mapreduce执行的基本守护程序。在mrv2中,它被resourcemanager/applicationmaster替代。jobtracker从客户端接收mapreduce执行请求。jobtracker与namenode通信以确定数据的位置。jobtracker根据数据位置(数据的接近度)和在给定节点上执行任务的可用插槽,查找执行任务的最佳tasktracker节点。jobtracker监视单个TaskTracker,并将作业的总体状态提交回客户端。jobtracker进程对于hadoop集群的mapreduce执行至关重要。当jobtracker关闭时,hdfs仍将正常工作,但mapreduce执行无法启动,现有的mapreduce作业将停止。
tasktracker在datanode上运行。主要是在所有数据节点上。在mrv2中,tasktracker被节点管理器取代。tasktracker将与jobtracker保持持续通信,用信号通知正在执行的任务的进度。mapper和reducer任务在TaskTracker管理的数据节点上执行。TaskTracker将分配mapper和reducer任务由jobtracker执行。tasktracker失败不被认为是致命的。当tasktracker没有响应时,jobtracker会将tasktracker执行的任务分配给另一个节点。
1条答案
按热度按时间efzxgjgh1#
求职者-
jobtracker进程在单独的节点上运行,通常不在datanode上运行。
jobtracker是mrv1中mapreduce执行的基本守护程序。在mrv2中,它被resourcemanager/applicationmaster替代。
jobtracker从客户端接收mapreduce执行请求。
jobtracker与namenode通信以确定数据的位置。
jobtracker根据数据位置(数据的接近度)和在给定节点上执行任务的可用插槽,查找执行任务的最佳tasktracker节点。
jobtracker监视单个TaskTracker,并将作业的总体状态提交回客户端。
jobtracker进程对于hadoop集群的mapreduce执行至关重要。
当jobtracker关闭时,hdfs仍将正常工作,但mapreduce执行无法启动,现有的mapreduce作业将停止。
任务跟踪器-
tasktracker在datanode上运行。主要是在所有数据节点上。
在mrv2中,tasktracker被节点管理器取代。
tasktracker将与jobtracker保持持续通信,用信号通知正在执行的任务的进度。
mapper和reducer任务在TaskTracker管理的数据节点上执行。
TaskTracker将分配mapper和reducer任务由jobtracker执行。
tasktracker失败不被认为是致命的。当tasktracker没有响应时,jobtracker会将tasktracker执行的任务分配给另一个节点。