有一个4节点的hadoop集群。其中一个主节点有一个奇怪的bug,那就是reduce进程完成了作业,但它没有终止。它使记忆迅速超越。我不知道是什么原因导致这个问题,但它只发生在一个节点上,其他节点都很好。也没有任何作业的错误报告,只是一个进程无所事事。
wfsdck301#
我发现问题是。我使用了一个在重载时可以打开多线程的库。如果线程从未停止,进程也将保持运行。
1条答案
按热度按时间wfsdck301#
我发现问题是。我使用了一个在重载时可以打开多线程的库。如果线程从未停止,进程也将保持运行。