我刚开始使用Hadoop，我想使用WordCount来执行Hadoop语法来计算单词。但是，为什么当我尝试显示输出时，它不会出现？我希望得到解释和帮助ex 1c 0d1x
yarn-site.xml设置：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>字符串
mapred-site.xml设置：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>型
注意：我使用Hadoop版本3.2.4
1条答案
按热度按时间deyfvvtc1#
1.你有一个错误-
/tmp不是一个有效的Windows路径，并且你的/tmp/hadoop-<username>值不是一个有效的Shell命令。你需要将core-site.xml中的hadoop.tmp.dir重写为一个有效的Windows路径，如file://c:/tmp_hadoop1.我建议使用WSL 2，而不是CMD。Hadoop并不是真正设计用于在Windows上运行的。
您可以打开日志中的链接-
The url to track the job或For more detailed output...以查找真实的问题如果你想用更少的代码实现WordCount，更快的输出，更多的交互式会话，那么请使用Spark。https://spark.apache.org/docs/latest/quick-start.html#more-on-dataset-operations