无法在OSX10.8上启动hadoopYarn的nodemanager

yiytaume 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(383)

在启动所有其他节点之后，当我尝试启动nodemanager时，它似乎已经被打开，然后自动终止。如下所示：

Yitongs-MacBook-Pro:hadoop timyitong$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /Users/timyitong/Dev/hadoop/logs/yarn-timyitong-nodemanager-Yitongs-MacBook-Pro.local.out
Yitongs-MacBook-Pro:hadoop timyitong$ jps
8981 DataNode
9300 Jps
9139 JobHistoryServer
8932 NameNode
9038 ResourceManager

我没有得到任何错误，任何例外，但nodemanger不在那里。当我试图停止它时，它是这样说的（stopnodes.sh只是一个脚本），这证实了nodemanager不存在：

Yitongs-MacBook-Pro:hadoop timyitong$ sh stopnodes.sh 
stopping namenode
stopping datanode
stopping resourcemanager
no nodemanager to stop
stopping historyserver

我不确定是否是因为nodemanager没有启动，当我尝试运行示例wordcount程序时，我总是让我的任务永远挂起。
我的环境是OSX10.8，Hadoop2.2.0。我已经用解决了java版本的问题 export JAVA_HOME=$(/usr/libexec/java_home -v 1.6) .

hadoop macos

来源：https://stackoverflow.com/questions/19602170/unable-to-start-nodemanager-of-hadoop-yarn-at-os-x-10-8

2条答案

按热度按时间

ycl3bljg1#

mapreduce.shuffle应该是mapreduce\u shuffle。请注意（下划线而不是点）。还可以看看http://www.thecloudavenue.com/2012/01/getting-started-with-nextgen-mapreduce.html

赞(0）回复(0）举报 2021-06-04

kgsdhlau2#

实际上我用过 bin/yarn nodemanger 直接启动服务器，发现问题。它在我的房间里 yarn-site.xml 在那里我不应该设置 yarn.nodemanager.aux-services 包含类似点（.）的 mapreduce.shuffle . 变动后 mapreduce.shuffle 至 mapreduce_shuffle ，问题解决了。
真的不明白为什么它不允许点，因为我配置一切根据这篇博客文章，这里的设置似乎是好的。

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce.shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>

赞(0）回复(0）举报 2021-06-04

我来回答

无法在OSX10.8上启动hadoopYarn的nodemanager

2条答案

相关问题

热门标签

最新问答