我正在尝试使用级联来在本地hadoop集群上创建和执行复杂的数据处理工作流。我希望创建一个tfidf向量,以便使用apachespark框架在其上应用机器学习算法,比如naivebayes。问题是,在我创建jar并使用以下命令启动它之后,程序就会冻结。这是日志文件。你可以在这里找到来源。相关的源代码在第6部分中。谢谢!
agyaoht71#
我发现了问题。群集的节点不正常,但是日志没有显示,并且级联冻结,因为它的任务已经取消分配。所以要解决这个问题,你必须纠正节点的健康状况,在我的例子中,我只需要纠正hadoop容器目录,以及它的本地namenode目录。您可能会遇到其他错误,因此我建议您检查hadoop日志文件和hadoop节点的webui管理。
1条答案
按热度按时间agyaoht71#
我发现了问题。群集的节点不正常,但是日志没有显示,并且级联冻结,因为它的任务已经取消分配。
所以要解决这个问题,你必须纠正节点的健康状况,在我的例子中,我只需要纠正hadoop容器目录,以及它的本地namenode目录。
您可能会遇到其他错误,因此我建议您检查hadoop日志文件和hadoop节点的webui管理。