简单来说,我所做的是:
步骤1:我已经在笔记本电脑(单节点)上成功配置了hadoop2.6,并运行了一个示例mapreduce作业。
第二步:我克隆了tez存储库并成功构建了0.8.0版本,将jar文件复制到hdfs中并导出所需的变量。我还改变了变量的值 mapreduce.framework.name
至 yarn-tez
在mapred-site.xml中。
但是当我想运行一个tez orderedwordcount作业时,我得到了一个错误:
15/07/04 18:45:03 INFO ipc.Client: Retrying connect to server: hostname/hostIP:57339.
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/07/04 18:45:12 INFO client.DAGClientImpl: DAG completed. FinalState=FAILED
我已经检查了资源管理器,它正在8030端口监听。但是客户端似乎试图连接到一个随机端口。对吗?
我该怎么做才能让它正常工作?
2条答案
按热度按时间hgb9j2n61#
似乎是这个版本(0.8.0)连接到资源管理器的问题。我编译并集成了以前的稳定版本(0.7.0),现在一切都很好。我希望他们能解决这个问题。
63lcw9qa2#
从你的日志来看,这似乎是防火墙的问题,而不是tez版本的问题。这与tez无关,即使你运行hadoop,你也只能面对这个问题。
hadoop使用多个端口与客户机以及服务组件之间进行通信。要启用hadoop通信,请打开hadoop使用的特定端口。要打开特定端口,可以在windows中设置访问规则。例如,以下命令将打开活动windows防火墙中的端口80:
netsh advfirewall firewall add rule name=allowrpccommunication dir=in action=allow protocol=tcp localport=80
更多信息请参见此处http://docs.hortonworks.com/hdpdocuments/hdp2/hdp-2.3.0-win/bk_hdp_install_win/content/ref-79239257-778e-42a9-9059-d982d0c08885.1.html