运行hadoop字数计算程序

t9aqgxwy  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(395)

我正在学习hadoop,学习michaelnoll教程。当我试图通过运行 hadoop jar hadoop-examples-1.2.1.jar wordcount tmp/Files tmp/Output 我收到以下错误:
2013/11/10 18:09:42 info ipc.client:正在重试连接到服务器:localhost/127.0.0.1:54311。已尝试0次;重试策略是RetryUpMaximumCountWithFixedSleep(maxretries=10,sleeptime=1秒)
. .
2010年11月13日18:09:51错误security.usergroupinformation:priviledgedactionexception as:hdusercause:java.net.connectexception:调用localhost/127.0.0.1:54311连接失败异常:java.net.connectexception:连接被拒绝java.net.connectexception:调用localhost/127.0.0.1:54311连接失败异常:java.net.connectexception:连接被拒绝
org.apache.hadoop.ipc.client.wrapexception(客户端。java:1142)在org.apache.hadoop.ipc.client.call(client。java:1118)在org.apache.hadoop.ipc.rpc$invoker.invoke(rpc。java:229)位于org.apache.hadoop.mapred.$proxy2.getprotocolversion(未知源代码),位于sun.reflect.nativemethodaccessorimpl.invoke0(本机方法),位于sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.hadoop.io.retry.retryinvocationhandler.invokemethod(retryinvocationhandler。java:85)在org.apache.hadoop.io.retry.retryinvocationhandler.invoke(retryinvocationhandler。java:62)org.apache.hadoop.mapred.$proxy2.getprotocolversion(未知源代码)org.apache.hadoop.ipc.rpc.checkversion(rpc。java:422)在org.apache.hadoop.mapred.jobclient.createproxy(jobclient。java:559)在org.apache.hadoop.mapred.jobclient.init(jobclient。java:498) 在org.apache.hadoop.mapred.jobclient。java:479)在org.apache.hadoop.mapreduce.job$1.run(job。java:563)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:415)在org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation。java:1190)在org.apache.hadoop.mapreduce.job.connect(作业。java:561)在org.apache.hadoop.mapreduce.job.submit(作业。java:549)在org.apache.hadoop.mapreduce.job.waitforcompletion(作业。java:580)在org.apache.hadoop.examples.wordcount.main(wordcount。java:82)位于sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.hadoop.util.programdriver$programdescription.invoke(programdriver。java:68)在org.apache.hadoop.util.programdriver.driver(programdriver。java:139)在org.apache.hadoop.examples.exampledriver.main(exampledriver。java:64)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.hadoop.util.runjar.main(runjar。java:160)原因:java.net.connectexception:连接在sun.nio.ch.socketchannelimpl.checkconnect(本机方法)处被拒绝sun.nio.ch.socketchannelimpl.finishconnect(socketchannelimpl。java:708)在org.apache.hadoop.net.socketiowithtimeout.connect(socketiowithtimeout)上。java:206)在org.apache.hadoop.net.netutils.connect(netutils。java:511)在org.apache.hadoop.net.netutils.connect(netutils。java:481)在org.apache.hadoop.ipc.client$connection.setupconnection(客户端。java:457)在org.apache.hadoop.ipc.client$connection.setupiostreams(client。java:583)在org.apache.hadoop.ipc.client$connection.access$2200(client。java:205)在org.apache.hadoop.ipc.client.getconnection(client。java:1249)在org.apache.hadoop.ipc.client.call(client。java:1093) ... 33个以上
附录
我只是像这样重新运行命令 bin/stop-all.sh , bin/start-all.sh , hadoop jar hadoop-examples-1.2.1.jar wordcount tmp/Files tmp/Output . 但现在我得到以下错误:
2010年11月13日20:52:12错误security.usergroupinformation:priviledgedactionexception as:hdusercause:org.apache.hadoop.ipc.remoteexception:org.apache.hadoop.mapred.safemodeexception:jobtracker位于org.apache.hadoop.mapred.jobtracker.checksafemode(jobtracker)的安全模式下。java:5188)在org.apache.hadoop.mapred.jobtracker.getStagingReadir(作业跟踪器。java:3677)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.hadoop.ipc.rpc$server.call(rpc。java:587)在org.apache.hadoop.ipc.server$handler$1.run(server。java:1432)在org.apache.hadoop.ipc.server$handler$1.run(server。java:1428)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:415) 在org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation。java:1190)在org.apache.hadoop.ipc.server$handler.run(server。java:1426)
org.apache.hadoop.ipc.remoteexception:org.apache.hadoop.mapred.safemodeexception:jobtracker在org.apache.hadoop.mapred.jobtracker.checksafemode(jobtracker)处于安全模式。java:5188)在org.apache.hadoop.mapred.jobtracker.getStagingReadir(jobtracker。java:3677)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)
plz帮助

bqucvtff

bqucvtff1#

尝试手动关闭安全模式:

hadoop dfsadmin -safemode off

hadoop dfsadmin -safemode leave

然后重新运行你的作业。

k4aesqcs

k4aesqcs2#

这是因为jobtracker处于安全模式,而不是namenode。使用以下命令确保jt未处于安全模式:

bin/hadoop mradmin -safemode leave

您可以随时使用下面显示的命令来检查您的nn和jt是否脱离安全模式;

bin/hadoop mradmin -safemode get

bin/hadoop dfsadmin -safemode get

另外,请确保使用正确的用户启动守护程序。

@praveen sripati:请看最后的第二个选项。

相关问题