我正在尝试使用sqoop将cloudsql表导入gcs bucket。我用过下面的jar。。
kite-data-core-1.1.0.jar、kite-data-hive-1.1.0.jar、kite-data-mapreduce-1.1.0.jar、kite-hadoop-compatibility-1.1.0.jar。
下面是我的代码片段:
```sqoop import
-libjars=gs://BUCKET_NAME/kite-data-core-1.1.0.jar,gs://BUCKET_NAME/kite-data-mapreduce-1.1.0.jar,gs://BUCKET_NAME/kite-data-hive-1.1.0.jar,gs://BUCKET_NAME/kite-hadoop-compatibility-1.1.0.jar,gs://BUCKET_NAME/hadoop-mapreduce-client-core-3.2.0.jar
--connect=jdbc:mysql://IP/DB Name
--username=sqoop_user
--password=sqoop_user
--target-dir=gs://BUCKET_NAME/mysql_output
--table persons
--split-by personid -m 2
--as-parquetfile```
我得到下面的错误。。。
20/01/03 04:42:29 info configuration.deprecation:mapred.jar已弃用。相反,在线程“main”java.lang.noclassdeffounderror中使用mapreduce.job.jar异常:org/kitesdk/data/mapreduce/datasetkeyoutputformat位于org.apache.sqoop.mapreduce.datadrivenimportjob.getoutputformatclass(datadrivenimportjob)。java:190)在org.apache.sqoop.mapreduce.importjobbase.configureoutputformat(importjobbase。java:94)在org.apache.sqoop.mapreduce.importjobbase.runimport(importjobbase。java:259)在org.apache.sqoop.manager.sqlmanager.importtable(sqlmanager。java:673)在org.apache.sqoop.manager.mysqlmanager.importtable(mysqlmanager。java:118)在org.apache.sqoop.tool.importtool.importtable(importtool。java:497)在org.apache.sqoop.tool.importtool.run(importtool。java:605)在org.apache.sqoop.sqoop.run(sqoop。java:143)在org.apache.hadoop.util.toolrunner.run(toolrunner。java:76)在org.apache.sqoop.sqoop.runsqoop(sqoop。java:179)在org.apache.sqoop.sqoop.runtool(sqoop。java:218)在org.apache.sqoop.sqoop.runtool(sqoop。java:227)在org.apache.sqoop.sqoop.main(sqoop。java:236)原因:java.lang.classnotfoundexception:org.kitesdk.data.mapreduce.datasetkeyoutputformat at at java.net.urlclassloader.findclass(urlclassloader)。java:382)在java.lang.classloader.loadclass(classloader。java:418)在sun.misc.launcher$appclassloader.loadclass(launcher。java:352)在java.lang.classloader.loadclass(类加载器。java:351)
在第一行错误中,它表示“mapred.jar已弃用”。相反,使用mapreduce.job.jar'。。。
我已经导入mapreduce.job.jar并将其作为libjar参数传递,但问题仍然是一样的。
在这个问题上的帮助是非常感谢的。
暂无答案!
目前还没有任何答案,快来回答吧!