hbase错误

0ve6wy6x  于 2021-05-30  发布在  Hadoop
关注(0)|答案(3)|浏览(288)

我在ubuntu14.04上使用hadoop2.5.1和hbase 0.98.11
我可以在伪分布式模式下运行它。现在我想在分布式模式下运行。我遵循站点的指令,最终在运行时出现了一个名为“error:org/apache/hadoop/hbase/hbaseconfiguration”的错误(编译代码时没有错误)。
尝试之后,我发现如果我在mapred-site.xml中注解mapreduce.framework.name,并在yarn站点中填充,我就可以成功地运行hadoop。
但我认为是单节点运行(我不知道,只是通过比较运行时间和我在pseudo中运行的时间来猜测,在master上运行作业时,slave的节点jps中没有mr)。
以下是我的一些观点:
hdfs站点

<property>
<name>dfs.replication</name>
<value>2</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
<!-- <property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>

<property>
<name>dfs.datanode.use.datanode.hostname</name>
<value>false</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

Map站点

<property>
   <name>mapred.job.tracker</name>
   <value>localhost:54311</value>
   <description>The host and port that the MapReduce job tracker runs
   at.  If "local", then jobs are run in-process as a single map
   and reduce task.
   </description>
 </property>

 <!--<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>-->

Yarn位置

<!-- Site specific YARN configuration properties -->

 <!--<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <property>
     <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
     <name>yarn.resourcemanager.address</name>
     <value>10.1.1.177:8032</value>
 </property>
 <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>10.1.1.177:8030</value>
 </property>
 <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>10.1.1.177:8031</value>
 </property>-->

非常感谢你的帮助
更新:我尝试通过添加yarn.applicaton.classpath对yarn站点进行一些更改,如下所示
https://dl-web.dropbox.com/get/public/yarn.png?_subject_uid=51053996&w=aabedjfrp_d31rivhqbwn0r9naqr_lfvjxilwvcwjdhcaq
错误变为退出代码。
https://dl-web.dropbox.com/get/public/exitcode.jpg?_subject_uid=51053996&w=aaaq-byorsrqv3yfq36vedpnab9aihnyoqfnvt2cuhn5iq
update2:在应用程序日志的syslog中
2015-04-24 20:34:59164信息[main]org.apache.hadoop.mapreduce.v2.app.mrappmaster:为应用程序appattempt\u 1429792550440\u 0035\u000002 2015-04-24 20:34:59589警告[main]org.apache.hadoop.conf.configuration:作业。xml:an attempt 覆盖最终参数:mapreduce.job.end-notification.max.retry.interval;忽略。2015-04-24 20:34:59610警告[main]org.apache.hadoop.conf.configuration:作业。xml:an attempt 覆盖最终参数:mapreduce.job.end-notification.max.attempts;忽略。2015-04-24 20:34:59616 fatal[main]org.apache.hadoop.mapreduce.v2.app.mrappmaster:启动mrappmaster java.lang.nosuchmethoderror:org.apache.hadoop.http.httpconfig.setpolicy时出错(lorg/apache/hadoop/http/httpconfig$policy;)v位于org.apache.hadoop.mapreduce.v2.app.mrappmaster.main(mrappmaster。java:1364)2015-04-24 20:34:59621 info[thread-1]org.apache.hadoop.mapreduce.v2.app.mrappmaster:mrappmaster收到信号。向rmcommunicator和jobhistoryeventhandler发送信号。
有什么建议吗

gt0wga4j

gt0wga4j1#

在坚持这个问题3天多之后(可能是因为我误解了这个概念),我可以通过在yarn env中添加hadoop\u类路径(就像我在hadoop env中设置伪分发时所做的那样)来修复这个问题。
我不太清楚细节。但是,是的,希望这能对将来的人有所帮助。
干杯。

6jjcrrmo

6jjcrrmo2#

我猜您没有正确设置hadoop群集请遵循以下步骤:
hadoop配置:
第一步:编辑 hadoop-env.sh 具体如下:


# The java implementation to use.  Required.

export JAVA_HOME=/usr/lib/jvm/java-6-sun

步骤2:现在创建一个目录并设置所需的所有权和权限

$ sudo mkdir -p /app/hadoop/tmp
$ sudo chown hduser:hadoop /app/hadoop/tmp

# ...and if you want to tighten up security, chmod from 755 to 750...

$ sudo chmod 750 /app/hadoop/tmp

第三步:编辑 core-site.xml ```

hadoop.tmp.dir
/app/hadoop/tmp

2uluyalo

2uluyalo3#

我在Yarn上使用Spark,得到了同样的错误。实际上,spark jar有一个hadoop client和hadoop mapreduce client的内部依赖关系-*jar指向旧的2.2.0版本。所以,我将这些条目包含在pom中,并使用我正在运行的hadoop版本进行了干净的构建。
这为我解决了问题。希望这对别人有帮助。

相关问题