hadoop—应用程序管理器和应用程序主控器的区别?

dced5bon  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(340)

我了解mrv1的工作原理。现在我正在努力了解mrv2。。应用程序管理员和应用程序管理员在Yarn方面有什么区别?

r6vfmomb

r6vfmomb1#

这里,应用程序指的是分配给框架的单个作业。

当客户机将应用程序提交给资源管理器时,应用程序管理器负责接受或拒绝该应用程序。
当资源管理器将单个应用程序分配给节点管理器时,应用程序主机负责执行该应用程序。
这有道理吗?

hc2pp10m

hc2pp10m2#

应用程序主机和应用程序管理器这两个术语经常互换使用。实际上,applicationmaster是请求、启动和监视特定于应用程序的资源的主容器,而applicationmanager是resourcemanager中的一个组件。下面提供了有关应用程序管理器的更多详细信息。
ApplicationManager负责维护已提交应用程序的集合。提交应用程序后,它首先验证应用程序的规范,并拒绝任何为其applicationmaster请求不可满足资源的应用程序(即,群集中没有足够资源来运行applicationmaster本身的节点)。然后,它确保没有其他应用程序已经提交了相同的应用程序id-这种情况可能是由错误的或恶意的客户端造成的。最后,它将允许的应用程序转发给调度器。这个组件还负责记录和管理完成的应用程序一段时间,然后再将它们从resourcemanager的内存中完全释放出来。当应用程序完成时,它会在守护程序的日志文件中放置一个applicationsummary。最后,applicationsmanager在应用程序完成后很长一段时间内保留已完成应用程序的缓存,以支持用户对应用程序数据的请求(通过webui或命令行)。配置属性yarn.resourcemanager.max-completed-applications控制resourcemanager在任何时间点记住的此类已完成应用程序的最大数量。缓存是一个先进先出的列表,最旧的应用程序被移出以容纳新完成的应用程序。

参考:hadoopYarn手册

相关问题