在没有hdfs和hadoop集群的情况下，是否可以在本地运行mapreduce？

5uzkadbs 于 2021-05-30 发布在 Hadoop

关注(0)|答案(2)|浏览(427)

鉴于我在windows系统中开发了mapreduce任务，在将它们移动到hdfs集群之前，我希望在本地运行mapreduce。我只想检查一下我的Map器逻辑，输入拆分，输入/输出格式等是如何工作的。有可能吗？

2条答案

在windows中执行和测试map reduce代码需要借助cygwin（windows到unix的模拟器）。
步骤如下：1.首先安装cywin。2.设置cygpath环境变量
现在我们可以把本地文件作为mr程序的输入。

hadoop有3种运行模式。

1.local mode  
2.psuedo mode  
3.distributed mode.

你要找的是本地模式。您可以在eclipse中调试mapreduce代码，然后以2或3种模式运行它。
这个以本地模式运行应用程序的分步指南对调试应用程序有很大帮助。
希望有帮助！