oozie工作流中的spark引发类未找到异常

mnowg1ta  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(455)


]1
色调3.10 spark 1.6.0 cdh 5.8.0
当我使用spark submit命令运行jar时,它工作正常,但使用hue工作流时,它会给我一个错误。
java.lang.classnotfoundexception:位于java.net.urlclassloader$1.run(urlclassloader)的rowcountfilter。java:366)在java.net.urlclassloader$1.run(urlclassloader。java:355)位于java.net.urlclassloader.findclass(urlclassloader)的java.security.accesscontroller.doprivileged(本机方法)。java:354)在java.lang.classloader.loadclass(classloader。java:425)在java.lang.classloader.loadclass(类加载器。java:358)在java.lang.class.forname0(本机方法)在java.lang.class.forname(类。java:270)在org.apache.spark.util.utils$.classforname(utils。scala:175)在org.apache.spark.deploy.sparksubmit$.org$apache$spark$deploy$sparksubmit$$runmain(sparksubmit)。scala:689)在org.apache.spark.deploy.sparksubmit$.dorunmain$1(sparksubmit。scala:181)在org.apache.spark.deploy.sparksubmit$.submit(sparksubmit。scala:206)位于org.apache.spark.deploy.sparksubmit$.main(sparksubmit.com)。scala:121)位于org.apache.oozie.action.hadoop.sparkmain.runspark(sparkmain)的org.apache.spark.deploy.sparksubmit.main(sparksubmit.scala)。java:256)在org.apache.oozie.action.hadoop.sparkmain.run(sparkmain。java:207)在org.apache.oozie.action.hadoop.launchemain.run(launchemain。java:49)在org.apache.oozie.action.hadoop.sparkmain.main(sparkmain。java:52)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:57) 在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.oozie.action.hadoop.launchermapper.map(launchermapper。java:236)在org.apache.hadoop.mapred.maprunner.run(maprunner。java:54)在org.apache.hadoop.mapred.maptask.runoldmapper(maptask。java:453)在org.apache.hadoop.mapred.maptask.run(maptask。java:343)在org.apache.hadoop.mapred.yarnchild$2.run(yarnchild。java:164)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:415)在org.apache.hadoop.security.usergroupinformation.doas(usergroupinformation。java:1693)在org.apache.hadoop.mapred.yarnchild.main(yarnchild。java:158)拦截system.exit(101)失败的oozie启动程序,主类[org.apache.oozie.action.hadoop.sparkmain],退出代码[101]

有人能帮忙吗?

wbgh16ku

wbgh16ku1#

请共享job.properties&coordinator.properties文件。检查lib路径 oozie.libpath 并查看是否存在所需的jar。
当oozie触发一个作业时,它将检查lib路径中的jar,并将其分发给集群中的所有节点执行。
您可能还需要验证oozie-site.xml中的配置

相关问题