是否可以运行hadoop作业而不指定输出文件？当我尝试运行hadoop作业时，没有抛出指定输出文件的异常。任何人都可以用java给出这样做的过程。我将reduce处理的数据写入一个非关系数据库，因此我不再要求它写入hdfs。
lsmepo6l1#
不幸的是，你真的不能这么做。编写输出是框架的一部分。当您在框架之外工作时，基本上只需处理结果。您可以使用nulloutputformat，它不会将任何数据写入hdfs。不过，我认为它仍然会创建文件夹。你可以让hadoop创建文件夹，然后删除它。
1条答案
按热度按时间lsmepo6l1#
不幸的是，你真的不能这么做。编写输出是框架的一部分。当您在框架之外工作时，基本上只需处理结果。
您可以使用nulloutputformat，它不会将任何数据写入hdfs。不过，我认为它仍然会创建文件夹。你可以让hadoop创建文件夹，然后删除它。