提交作业时，yarn和namenode何时交互？当一个作业被提交时，它会被发送给谁？有人能解释一下端到端的流程吗？hadoop生态系统是如何工作的？谢谢！
qjp7pelc1#
基本上Yarn和HDF之间没有直接的相互作用，参见https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/yarn.html但是，Yarn作业需要一些文件（库、配置等），这些文件通常驻留在hdfs上
ql3eal8s2#
namenode：存储数据节点中存储的所有数据的元数据，并监视数据节点的运行状况。基本上，它是一个主从结构。纱：它代表另一个资源谈判代表。Yarn主要由两部分组成。1.>日程安排2.>应用程序管理器yarn还包含主节点（即资源管理器）和从节点（即节点管理器）。出于调度目的，有3个调度器：1.>先进先出2.>容量3.>公平份额在节点管理器下有一个名为application master的组件，由资源管理器分配。一个应用程序主机被分配给一个应用程序。现在，每当作业进入时，资源管理器都会创建一个作业id并为该作业分配一个应用程序主机。资源管理器与namenode联系，以检索有关必须对其执行任务的所需数据的元数据的信息。然后将资源管理器接收到的信息传递给应用程序主机。这是namenodeYarn加工的基本概况。您还可以阅读以下内容：Yarn
2条答案
按热度按时间qjp7pelc1#
基本上Yarn和HDF之间没有直接的相互作用，参见https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/yarn.html
但是，Yarn作业需要一些文件（库、配置等），这些文件通常驻留在hdfs上
ql3eal8s2#
namenode：存储数据节点中存储的所有数据的元数据，并监视数据节点的运行状况。基本上，它是一个主从结构。
纱：它代表另一个资源谈判代表。Yarn主要由两部分组成。
1.>日程安排
2.>应用程序管理器
yarn还包含主节点（即资源管理器）和从节点（即节点管理器）。
出于调度目的，有3个调度器：
1.>先进先出2.>容量3.>公平份额
在节点管理器下有一个名为application master的组件，由资源管理器分配。
一个应用程序主机被分配给一个应用程序。
现在，每当作业进入时，资源管理器都会创建一个作业id并为该作业分配一个应用程序主机。资源管理器与namenode联系，以检索有关必须对其执行任务的所需数据的元数据的信息。然后将资源管理器接收到的信息传递给应用程序主机。
这是namenodeYarn加工的基本概况。您还可以阅读以下内容：
Yarn