与hadoop一样，如果一个任务失败了，它会分配给另一个节点，如何将任务重新分配给另一个节点？我想进入mapreduce程序当一个任务被分配到一个特定的节点（我想要的节点，例如节点1）时，这个任务将被重新分配（例如节点2）。如何做这项工作？你有主意吗？（我使用的是Hadoop2.9.0）
3b6akqbq1#
如果使用节点标签，则只能将任务分配给另一个节点或一组节点。hadoop被设计成在许多节点上运行（对于大多数用户来说是20到500个节点），所以您的用例不会被正常操作覆盖。如果你真的想追求这个目标，你有两个选择：使用容量计划和节点标签编写自定义应用程序主控程序，以便可以控制要启动容器的节点管理器。
Yarn节点标签hadoop:编写应用程序：编写applicationmaster（am）
1条答案
按热度按时间3b6akqbq1#
如果使用节点标签，则只能将任务分配给另一个节点或一组节点。hadoop被设计成在许多节点上运行（对于大多数用户来说是20到500个节点），所以您的用例不会被正常操作覆盖。如果你真的想追求这个目标，你有两个选择：
使用容量计划和节点标签
编写自定义应用程序主控程序，以便可以控制要启动容器的节点管理器。
参考文献
Yarn节点标签
hadoop:编写应用程序：编写applicationmaster（am）