我使用cloudera中的docker图像,但它的配置似乎不太正确。因为我这么做:
hadoop jar /usr/lib/hadoop*/contrib/streaming/hadoop-streaming*cdh*.jar \
-mapper mapper -reducer reducer \
-file mapper -file reducer \
-input input -output output
我一直都是这样的:
18/03/14 02:34:33 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
这是我在运行上述进程之前所做的。
将docker内存增加到8gb
启动容器,在主机中运行
docker run -p 7180:7180 \
--hostname=quickstart.cloudera --privileged=true \
-t -i cloudera/quickstart:latest \
/usr/bin/docker-quickstart
启动manager/home/cloudera/cloudera管理器--express
打开cloudera manager以启动hdfs
将样本输入上传到hdfs
1条答案
按热度按时间hrirmatl1#
您不仅需要使用管理器启动hdfs,还需要使用yarn