如何配置hadoop

cbeh67ev  于 2021-06-02  发布在  Hadoop
关注(0)|答案(3)|浏览(387)

我们正在研制一种安装了hawq的青梅。我想运行hadoop流作业。但是,hadoop似乎没有配置或启动。如何启动mapred以确保可以使用hadoop流媒体?

slwdgvem

slwdgvem1#

首先,确保集群已启动并且正在工作。将其转到关键指挥中心(通常链接如下: https://<admin_node>:5443/ )并查看群集状态,或要求管理员这样做。
下一步,确保在您尝试开始工作的机器上安装了phd客户端库。运行“rpm-qa | grep phd”
接下来,如果群集正在运行并且安装了库,则可以如下方式运行流作业:

hadoop jar /usr/lib/gphd/hadoop-mapreduce/hadoop-streaming.jar -mapper /bin/cat -reducer /bin/wc -input /example.txt -output /testout

/example.txt文件应该存在于hdfs上

vuktfyat

vuktfyat2#

我早就这么做了,greenplum/hadoop
--1. 对于instatlation icm\u client deploy ex.-icm\u client deploy配置单元
--2. 对于状态hdfs服务hadoop namenode状态服务hadoop datanode状态服务hadoop secondarynamenode状态Map服务hadoop jobtracker状态服务hadoop tasktracker状态配置单元服务配置单元服务器状态服务配置单元metastore状态
--3. 对于启动/停止/重新启动服务配置单元服务器启动服务配置单元服务器停止服务配置单元服务器重新启动
注意:您可以在安装指南中找到所有这些命令和详细信息,可以在hadoop安装指南的某个地方在线获得
谢谢,

jfewjypa

jfewjypa3#

请尝试以下命令以获取字数:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input <inputDir> \
-output <outputDir> \
-mapper /bin/cat \
-reducer /bin/wc

如果这给你正确的字数,那么它的工作,否则检查错误,吐出运行这个命令

相关问题