我正在测试hadoop任务运行时“使用ups关闭服务器”,我有两个问题。我想知道是否可以保存正在运行的任务,然后在重新启动后继续剩余的工作(在所有节点)如果不支持“1”,在hadoop任务运行时开始关闭进程安全吗?或者,我需要做些什么来保护hadoop系统吗(集群?)
mxg2im7a1#
不,不能在中间状态下“保存”任务。如果在某些作业正在运行时关闭hadoop,那么最终可能会有来自废弃作业的中间数据占用空间。除此之外,您还可以在作业运行时关闭系统。
2g32fytz2#
现在还不能用hadoop保存正在运行的任务的状态。这将是一个极其困难的过程,因为所有的资源分配都是基于系统的当前负载进行的,但是在重新启动整个集群之后,可能会有完全不同的负载,因此恢复状态是没有意义的。回答你的第二个问题,hadoop被设计成可以容忍节点故障或访问文件的临时问题以及网络中断。单个任务可能会失败,然后系统会在另一个节点上重新启动它们。从集群的Angular 来看,关闭节点是安全的,唯一要记住的是,作业最终会失败,您需要在集群恢复正常后重新提交它。使用电源开关关闭集群可能会出现一个问题,即没有清理临时文件。这通常不是什么大问题。
2条答案
按热度按时间mxg2im7a1#
不,不能在中间状态下“保存”任务。如果在某些作业正在运行时关闭hadoop,那么最终可能会有来自废弃作业的中间数据占用空间。除此之外,您还可以在作业运行时关闭系统。
2g32fytz2#
现在还不能用hadoop保存正在运行的任务的状态。这将是一个极其困难的过程,因为所有的资源分配都是基于系统的当前负载进行的,但是在重新启动整个集群之后,可能会有完全不同的负载,因此恢复状态是没有意义的。
回答你的第二个问题,hadoop被设计成可以容忍节点故障或访问文件的临时问题以及网络中断。单个任务可能会失败,然后系统会在另一个节点上重新启动它们。从集群的Angular 来看,关闭节点是安全的,唯一要记住的是,作业最终会失败,您需要在集群恢复正常后重新提交它。使用电源开关关闭集群可能会出现一个问题,即没有清理临时文件。这通常不是什么大问题。