我正在尝试使用级联来在本地hadoop集群上创建和执行复杂的数据处理工作流。我希望创建一个tfidf向量，以便使用apachespark框架在其上应用机器学习算法，比如naivebayes。问题是，在我创建jar并使用以下命令启动它之后，程序就会冻结。这是日志文件。你可以在这里找到来源。相关的源代码在第6部分中。谢谢！
agyaoht71#
我发现了问题。群集的节点不正常，但是日志没有显示，并且级联冻结，因为它的任务已经取消分配。所以要解决这个问题，你必须纠正节点的健康状况，在我的例子中，我只需要纠正hadoop容器目录，以及它的本地namenode目录。您可能会遇到其他错误，因此我建议您检查hadoop日志文件和hadoop节点的webui管理。
1条答案
按热度按时间agyaoht71#
我发现了问题。群集的节点不正常，但是日志没有显示，并且级联冻结，因为它的任务已经取消分配。
所以要解决这个问题，你必须纠正节点的健康状况，在我的例子中，我只需要纠正hadoop容器目录，以及它的本地namenode目录。
您可能会遇到其他错误，因此我建议您检查hadoop日志文件和hadoop节点的webui管理。