如何为mapreduce程序传递hdfs输入数据

vhmi4jdf  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(246)

我已经安装了hadoop2.7.3,并使用hadoop站点中的官方代码运行了典型的mapreduce程序。为了运行mapreduce程序,我使用intellijide并创建了一个maven项目。我补充道 hadoop-core 并创建了我设置的新运行配置 Program arguments 在那里。

所以我有两个问题:
我已经准备好了 Program argumentsinput 以及 output 在我的项目目录和我的输入文件中 input 目录。我们知道 input 目录为 local 我的问题是如何从 HDFS 到我的mapreduce程序?我尝试过在hdfs中创建输入目录,并将其地址(在hdfs下)传递给 Program argument 但这是错误的!
我的第二个问题是,我们需要 hadoop 安装运行这样的mapreduce程序?你知道我补充说 hadoop-core 对依赖项和程序使用它来运行,我觉得没有必要 hadoop 安装。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题