hadoop/yarn如何判断节点的速度慢,以及它对节点上的任务做了什么?

2jcobegt  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(466)

我相信我理解hadoop是如何知道一个节点已经崩溃的。如果集群管理器在预定的时间内没有从一个从属服务器接收到心跳,那么它认为它已经死了。
集群管理器如何确定节点是否慢?一旦它确定节点速度慢,它将如何处理该节点上的任务?
谢谢。

omvjsjqw

omvjsjqw1#

回答我自己的问题。我使用的是TomWhite的参考资料“hadoop:权威指南”。
哈罗德是对的。根据这本书,由应用程序启动的任务定期向应用程序主程序报告状态。如果应用程序主程序发现某个任务没有报告进度,它将假定该任务挂起,并自动终止相应的jvm。默认超时时间为10分钟。
什么是进步是一个单独的讨论也包括在书中。

相关问题