sqoop-hive使用oozie导入失败

ktca8awb  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(365)

我正在尝试执行从oracle到hive的sqoop导入,但作业失败并出现错误 WARN [main] conf.HiveConf (HiveConf.java:initialize(2472)) - HiveConf of name hive.auto.convert.sortmerge.join.noconditionaltask does not exist Intercepting System.exit(1) <<< Invocation of Main class completed <<< Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1] Oozie Launcher failed, finishing Hadoop job gracefully 我已经准备好了所有的jar文件
hive-site.xml还与配置单元元存储配置一起提供 <property> <name>hive.metastore.uris</name> <value>thrift://sv2lxgsed01.x.com:9083</value> </property> 我能够成功地将sqoop导入(使用oozie)到hdfs。
我还能够成功地执行配置单元脚本(使用oozie)
我也可以从命令行执行sqoop配置单元导入,但是当我使用oozie执行它时,相同的命令失败
我的workflow.xml如下 <workflow-app name="WorkflowWithSqoopAction" xmlns="uri:oozie:workflow:0.1"> <start to="sqoopAction"/> <action name="sqoopAction"> <sqoop xmlns="uri:oozie:sqoop-action:0.2"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <command>import --connect jdbc:oracle:thin:@//sv2axcrmdbdi301..com:1521/DI3CRM --username x --password --table SIEBEL.S_ORG_EXT --hive-table eg.EQX_EG_CRM_S_ORG_EXT --hive-import -m1</command> <file>/user/oozie/oozieProject/workflowSqoopAction/hive-site.xml</file> </sqoop> <ok to="end"/> <error to="killJob"/> </action> <kill name="killJob"> <message>"Killed job due to error: ${wf:errorMessage(wf:lastErrorNode())}"</message> </kill> <end name="end" /> </workflow-app> 我还可以在hdfs中找到正在加载的数据。

f45qwnt8

f45qwnt81#

你需要做两件事
1) 复制oozie工作流目录中的hive-site.xml 2)在您的配置单元操作中告诉oozie使用my hive-site.xml

相关问题