我正在尝试安装ApacheNutch2.2.1,并通过以下步骤在配置文件中进行了所需的更改之后成功地构建了它http://www.blogjava.net/paulwong/archive/2013/08/31/403513.html 辅导的。但是即使在构建它之后,我也不能爬行任何东西,经过几个小时的检查,我意识到我公司集群上的hbase版本是hbase-0.94.2,而apachenutch2.2.1的安装依赖性是hbase 0.90.4。由于hbase-0.90.4.jar与hbase-0.94.2不兼容,因此在尝试将url注入nutch时出现以下错误。请帮助我更改apachenutch的依赖关系或修复错误。
我把错误贴在下面。
原因:java.lang.runtimeexception:java.lang.illegalargumentexception:不是host:port pair: �-11562@bt13acl1node26.comp.com�$三�¿½bt13acl1node26.comp.com,600001401268790838,网址:org.apache.gora.hbase.store.hbasetore.initialize(hbasetore)。java:127)在org.apache.gora.store.datastorefactory.initializedatastore(datastorefactory。java:102)在org.apache.gora.store.datastorefactory.createdatastore(datastorefactory。java:161) ... 12个以上
原因:java.lang.illegalargumentexception:不是host:port pair: �-11562@bt13acl1node26.comp.com�$三�¿½bt13acl1node26.comp.com公司,60000,1401268790838位于org.apache.hadoop.hbase.hserveraddress.(hserveraddress。java:60)位于org.apache.hadoop.hbase.masteraddresstracker.getmasteraddress(masteraddresstracker)。java:63)位于org.apache.hadoop.hbase.client.hconnectionmanager$hconnectionimplementation.getmaster(hconnectionmanager)。java:354)在org.apache.hadoop.hbase.client.hbaseadmin.(hbaseadmin。java:94)在org.apache.gora.hbase.store.hbasestore.initialize(hbasestore。java:109) ... 14个以上
1条答案
按热度按时间mu0hgdu01#
您安装了ApacheNutch2.2.1,它使用ApacheGora0.3,它只支持旧的ApacheHBase 0.90.x,正如官方文档中所述。
无论如何,您仍然可以使用nutch 2.2.x,方法如下:
从官方git分支2.x克隆、配置和构建新的nutch,因为它迁移到了与apachehbase 0.94.x兼容的gora 0.4。
克隆并构建我的apache hbase 0.94.24-hadoop-2.5.0版本,以便与最新的apache hadoop 2.5.0一起使用。
ApacheGora0.3项目也出现了类似的问题。他们不打算在最近的将来将apachehbase依赖性升级到新的依赖性。
您还可以阅读apachehbase的兼容性文档,了解如何为任何hadoop版本构建自己的版本。
apache nutch经过测试,可以很好地与以下堆栈配合使用:
ApacheNutch来自2.xGit分支,使用Gora0.4;
apache hbase 0.94.24-hadoop-2.5.0;
apache hadoop 2.5.0版。