hadoop docker安装-wordcount教程

dbf7pr2w  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(407)

我跟着教程跑 WordCount.java 当我在教程中运行以下行时

hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

我得到以下错误-

17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我使用的docker图像是 docker pull cloudera/quickstart 没有针对hadoop和docker的安装教程,因此如果您能告诉我为克服这些问题而进行的配置,那将非常有用。

bqf10yzr

bqf10yzr1#

该教程假设您在集群中,hadoop客户机命令可用,hadoop服务已启动并正确配置。 0.0.0.0:8032 是默认的Yarn资源管理器,因此需要配置 HADOOP_CONF_DIR xml文件(特别是 yarn-site 对于此错误),指向docker容器以获取正确的Yarn地址。 core 以及 hdfs-site 也需要配置为指向hdfs。

相关问题