hadoop reduce作业已成功完成,但进程仍然存在并占用内存

lztngnrs  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(330)

有一个4节点的hadoop集群。其中一个主节点有一个奇怪的bug,那就是reduce进程完成了作业,但它没有终止。它使记忆迅速超越。
我不知道是什么原因导致这个问题,但它只发生在一个节点上,其他节点都很好。也没有任何作业的错误报告,只是一个进程无所事事。

wfsdck30

wfsdck301#

我发现问题是。我使用了一个在重载时可以打开多线程的库。如果线程从未停止,进程也将保持运行。

相关问题