sqoop将云sql表作为parquet文件导入gcs bucket需要哪些jar文件

jmp7cifd  于 2021-06-03  发布在  Sqoop
关注(0)|答案(0)|浏览(311)

我正在尝试使用sqoop将cloudsql表导入gcs bucket。我用过下面的jar。。
kite-data-core-1.1.0.jar、kite-data-hive-1.1.0.jar、kite-data-mapreduce-1.1.0.jar、kite-hadoop-compatibility-1.1.0.jar。
下面是我的代码片段:

```sqoop import 
    -libjars=gs://BUCKET_NAME/kite-data-core-1.1.0.jar,gs://BUCKET_NAME/kite-data-mapreduce-1.1.0.jar,gs://BUCKET_NAME/kite-data-hive-1.1.0.jar,gs://BUCKET_NAME/kite-hadoop-compatibility-1.1.0.jar,gs://BUCKET_NAME/hadoop-mapreduce-client-core-3.2.0.jar 
    --connect=jdbc:mysql://IP/DB Name
     --username=sqoop_user 
    --password=sqoop_user 
    --target-dir=gs://BUCKET_NAME/mysql_output 
    --table persons 
    --split-by personid -m 2 
    --as-parquetfile```

我得到下面的错误。。。
20/01/03 04:42:29 info configuration.deprecation:mapred.jar已弃用。相反,在线程“main”java.lang.noclassdeffounderror中使用mapreduce.job.jar异常:org/kitesdk/data/mapreduce/datasetkeyoutputformat位于org.apache.sqoop.mapreduce.datadrivenimportjob.getoutputformatclass(datadrivenimportjob)。java:190)在org.apache.sqoop.mapreduce.importjobbase.configureoutputformat(importjobbase。java:94)在org.apache.sqoop.mapreduce.importjobbase.runimport(importjobbase。java:259)在org.apache.sqoop.manager.sqlmanager.importtable(sqlmanager。java:673)在org.apache.sqoop.manager.mysqlmanager.importtable(mysqlmanager。java:118)在org.apache.sqoop.tool.importtool.importtable(importtool。java:497)在org.apache.sqoop.tool.importtool.run(importtool。java:605)在org.apache.sqoop.sqoop.run(sqoop。java:143)在org.apache.hadoop.util.toolrunner.run(toolrunner。java:76)在org.apache.sqoop.sqoop.runsqoop(sqoop。java:179)在org.apache.sqoop.sqoop.runtool(sqoop。java:218)在org.apache.sqoop.sqoop.runtool(sqoop。java:227)在org.apache.sqoop.sqoop.main(sqoop。java:236)原因:java.lang.classnotfoundexception:org.kitesdk.data.mapreduce.datasetkeyoutputformat at at java.net.urlclassloader.findclass(urlclassloader)。java:382)在java.lang.classloader.loadclass(classloader。java:418)在sun.misc.launcher$appclassloader.loadclass(launcher。java:352)在java.lang.classloader.loadclass(类加载器。java:351)
在第一行错误中,它表示“mapred.jar已弃用”。相反,使用mapreduce.job.jar'。。。
我已经导入mapreduce.job.jar并将其作为libjar参数传递,但问题仍然是一样的。
在这个问题上的帮助是非常感谢的。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题