wso2外部hadoop

a8jjtwal  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(442)

我们希望将wso2 bam 2.0.1连接到外部hadoop集群(完全分布式)。我按此链接进行设置
配置apache配置单元
但是,当我运行我的配置单元脚本时,我得到以下错误
java.sql.sqlexception:查询返回非零代码:9,原因:失败:执行错误,返回代码-101 from org.apache.hadoop.hive.ql.exec.mapredtask
此配置单元脚本在本地hadoop模式下运行良好。。。
在使用外部hadoop集群时,是否也需要对配置单元脚本进行任何更改。。
这些是我在控制台中看到的错误。。
tid:[0][bam][2013-01-16 09:42:36583]信息{org.apache.hadoop.hive.ql.exec.utilities}-未缓存的内容摘要hdfs://r4p8n0c:9000/user/hive/warehouse\u wso2-1234/aeanalyticstable\u demo{org.apache.hadoop.hive.ql.exec.utilities}
tid:[0][bam][2013-01-16 09:42:36583]信息{org.apache.hadoop.hive.ql.exec.utilities}-未缓存的内容摘要hdfs://r4p8n0c:9000/user/hive/warehouse\u wso2-1234/aeanalyticstable\u demo{org.apache.hadoop.hive.ql.exec.utilities}
tid:[0][bam][2013-01-16 09:42:36590]信息{org.apache.hadoop.hive.ql.exec.execdriver}-添加非本机表hdfs://r4p8n0c:9000/user/hive/warehouse\u wso2-1234/aeanalyticstable\u demo{org.apache.hadoop.hive.ql.exec.execdriver}
tid:[0][bam][2013-01-16 09:42:36590]信息{org.apache.hadoop.hive.ql.exec.execdriver}-添加非本机表hdfs://r4p8n0c:9000/user/hive/warehouse\u wso2-1234/aeanalyticstable\u demo{org.apache.hadoop.hive.ql.exec.execdriver}
tid:[0][bam][2013-01-16 09:42:36832]错误{org.apache.hadoop.hive.ql.driver}-失败:执行错误,返回代码-101来自org.apache.hadoop.hive.ql.exec.mapredtask{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36832]错误{org.apache.hadoop.hive.ql.driver}-失败:执行错误,返回代码-101来自org.apache.hadoop.hive.ql.exec.mapredtask{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36833]信息{org.apache.hadoop.hive.ql.driver}-{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36833]信息{org.apache.hadoop.hive.ql.driver}-{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36833]信息{org.apache.hadoop.hive.ql.driver}-{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36833]信息{org.apache.hadoop.hive.ql.driver}-{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36834]信息{org.apache.hadoop.hive.ql.driver}-{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36834]信息{org.apache.hadoop.hive.ql.driver}-{org.apache.hadoop.hive.ql.driver}
tid:[0][bam][2013-01-16 09:42:36834]错误{org.wso2.carbon.analytics.hive.impl.hiveexecutorserviceimpl}-执行配置单元脚本时出错。
查询返回非零代码:9,原因:失败:执行错误,返回代码-101来自org.apache.hadoop.hive.ql.exec.mapredtask{org.wso2.carbon.analytics.hive.impl.hiveexecutorserviceimpl}
java.sql.sqlexception:查询返回非零代码:9,原因:失败:执行错误,返回代码-101 from org.apache.hadoop.hive.ql.exec.mapredtask
在org.apache.hadoop.hive.jdbc.hivestatement.executequery(hivestatement。java:189)
在org.wso2.carbon.analytics.hive.impl.hiveexecutorserviceimpl$scriptcallable.call(hiveexecutorserviceimpl。java:325)
在org.wso2.carbon.analytics.hive.impl.hiveexecutorserviceimpl$scriptcallable.call(hiveexecutorserviceimpl。java:225)
在java.util.concurrent.futuretask$sync.innerrun(futuretask。java:303)
在java.util.concurrent.futuretask.run(futuretask。java:138)
位于java.util.concurrent.threadpoolexecutor$worker.runtask(threadpoolexecutor。java:886)
在java.util.concurrent.threadpoolexecutor$worker.run(threadpoolexecutor。java:908)
在java.lang.thread.run(线程。java:662)
tid:[0][bam][2013-01-16 09:42:36848]错误{org.wso2.carbon.analytics.hive.ui.client.hiveexecutionclient}-执行配置单元脚本时出错。查询返回非零代码:9,原因:失败:执行错误,返回代码-101,来自org.apache.hadoop.hive.ql.exec.mapredtask{org.wso2.carbon.analytics.hive.ui.client.hiveexecutionclient}
org.wso2.carbon.analytics.hive.stub.hiveExecutionService hiveExecutionException:hiveExecutionService hiveExecutionException
在sun.reflect.nativeconstructoraccessorimpl.newinstance0(本机方法)
在sun.reflect.nativeconstructoraccessorimpl.newinstance(nativeconstructoraccessorimpl。java:39)
在sun.reflect.delegatingconstructoraccessorimpl.newinstance(delegatingconstructoraccessorimpl。java:27)
在java.lang.reflect.constructor.newinstance(constructor。java:513)
在java.lang.class.newinstance0(class。java:355)
在java.lang.class.newinstance(class。java:308)
在org.wso2.carbon.analytics.hive.stub.hiveexecutionservicestub.executehivescript(hiveexecutionservicestub。java:215)
在org.wso2.carbon.analytics.hive.ui.client.hiveexecutionclient.executescript(hiveexecutionclient。java:66)
在org.apache.jsp.hive\u 002dexplorer.queryresults\u jsp.\u jspservice(queryresults\u jsp。java:90)
在org.apache.jasper.runtime.httpjspbase.service(httpjspbase。java:97)
在javax.servlet.http.httpservlet.service(httpservlet。java:722)
在org.apache.jasper.servlet.jspservletwrapper.service(jspservletwrapper.org.apache.jasper.servlet.jspservletwrapper.service)上。java:332)
位于org.apache.jasper.servlet.jspservlet.servicejspfile(jspservlet。java:314)
位于org.apache.jasper.servlet.jspservlet.service(jspservlet。java:264)
在javax.servlet.http.httpservlet.service(httpservlet。java:722)
在org.wso2.carbon.ui.jspservlet.service(jspservlet。java:161)
在org.wso2.carbon.ui.tilesjspservlet.service(tilesjspservlet。java:80)
在javax.servlet.http.httpservlet.service(httpservlet。java:722)
在org.eclipse.equinox.http.helper.ContextPathServletAdapter.service(ContextPathServletAdapter。java:36)
位于org.eclipse.equinox.http.servlet.internal.servletregistration.handlerequest(servletregistration。java:90)
在org.eclipse.equinox.http.servlet.internal.proxyservlet.processalias(proxyservlet。java:111)
在org.eclipse.equinox.http.servlet.internal.proxyservlet.service(proxyservlet。java:67)
在javax.servlet.http.httpservlet.service(httpservlet。java:722)
在org.wso2.carbon.tomcat.ext.servlet.delegationservlet.service(delegationservlet。java:68)
位于org.apache.catalina.core.applicationfilterchain.internaldofilter(applicationfilterchain)。java:305)
在org.apache.catalina.core.applicationfilterchain.dofilter(applicationfilterchain。java:210)
在org.apache.catalina.core.applicationdispatcher.invoke(applicationdispatcher。java:690)
在org.apache.catalina.core.applicationdispatcher.doinclude(applicationdispatcher。java:599)

6uxekuva

6uxekuva1#

我们可以让wso2 bam与外部完全分布式hadoop一起工作。
看起来2.0.1版在向外部hadoop群集提交map reduce作业时遇到问题。。我们回滚到2.0.0,配置单元脚本开始工作。
我想知道这是否是2.0.1的已知问题?我们有一个精简版的2.0.1(它只有carbon、analytics/analyticsui、dashboard、registry、databridge、datasource、stratos、security、tasks和transport management特性)
谢谢拉吉夫

irtuqstp

irtuqstp2#

如果您正确地设置了外部hadoop集群,它应该可以工作。它已经用外部hadoop集群进行了测试。如果您遇到任何问题,请检查hadoop集群节点中的错误日志。找到hadoop集群相关的配置问题会很有帮助。因为有时ui中显示的问题不是很有用。无需更改配置单元脚本即可使用外部集群。
谢谢,卡森。

相关问题