hadoop中的jobtracker未运行

0aydgbwb  于 2021-06-03  发布在  Hadoop
关注(0)|答案(8)|浏览(362)

实际上,我使用
http://wiki.apache.org/hadoop/running_hadoop_on_ubuntu_linux_%28single-node_cluster%29
现在当我使用
名称节点-(http://localhost:50070)/(对于我的名称节点)运行正常,但
工作跟踪器-(http://localhost:50030)/它不工作
可能是什么情况
谢谢

nr7wwzry

nr7wwzry1#

在新版本的hadoop中,您可以监视在 localhost:8088 在这里您可以找到新hadoop的webui
链接:https://stackoverflow.com/a/24105597/1971660

kyxcudwk

kyxcudwk2#

从一开始

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_CONF_DIR start historyserver
kqhtkvqz

kqhtkvqz3#

回复可能有点晚,但我希望对其他读者有用。
在hadoop 2.0中,jobtracker和tasktracker不再存在,取而代之的是三个组件:
resourcemanager:一个调度程序,在集群中的竞争应用程序之间分配可用资源。
nodemanager:在集群中的每个节点上运行,并接受resourcemanager的指导。它负责管理单个节点上可用的资源。
applicationmaster:特定于框架的库的示例,applicationmaster运行特定的yarn作业,负责与resourcemanager协商资源,并与nodemanager一起执行和监视容器。
因此,就您所看到的resourcemanager(在nn上)和nodemanager(在dn上)进程而言,您可以继续。

8wtpewkr

8wtpewkr4#

在运行$hadoop\u home/bin/start-all.sh之后,可以键入命令“jps”来检查所有必要的hadoop进程是否都已启动。如果一切正常,应该是这样的:

hd0@HappyUbuntu:/usr/local/hadoop$ jps
18694 NameNode
19576 TaskTracker
19309 JobTracker
19225 SecondaryNameNode
19629 Jps
18972 DataNode

有可能你的jobtracker进程没有工作。所以先检查一下。如果这是真的,那么您应该查看logs目录中的日志文件,寻找更具体的原因。

zbwhf8kr

zbwhf8kr5#

请尝试这个命令---hadoop dfsadmin-safemode leave---更有效。

njthzxwz

njthzxwz6#

使用以下命令格式化namenode。

$ <path_to_hadoop.x.xx>/bin/hadoop namenode -format

这会解决你的问题。

k5hmc34c

k5hmc34c7#

hd0@happyubuntu:/usr/local/hadoop$bin/hadoop作业跟踪器
您可能会看到有关凭据的错误。类型:
sudo chown-r hd0/usr/local/hadoop
现在,输入“jps”并检查jobtracker是否正在运行
稍后,如果您获得“org.apache.hadoop.mapred.safemodeexception:jobtracker处于安全模式”,可能需要键入“bin/hadoop dfsadmin-safemode leave”

q9rjltbz

q9rjltbz8#

嗯..hadoop的发行版/版本是什么?我已经很久没有使用hadoop-site.xml了。对于hadoop1.0.x,它是core-site.xml和mapred-site.xml。基本上,我认为start all根本没有启动jobtracker,因为它没有正确配置。

相关问题