为了测试sqoop1,我正在尝试执行一个活动,而我将从mssql导入一个表,然后在另一个数据库中再次导出到mssql。到目前为止,我的进口是成功的。我关心的是导出,如果我导入一个没有--hive import选项的表,我将能够成功导出它。但是如果我包含--hive import选项,sqoop将无法导出它并提示一个错误:
17/04/02 23:08:20错误sqoop.sqoop:运行sqoop时出现异常:org.kitesdk.data.datasetioexception:无法加载描述符file:hdfs://快速启动。cloudera:8020/user/hive/warehouse/customer/.metadata/descriptor.properties 为了dataset:customer org.kitesdk.data.datasetioexception:无法加载描述符file:hdfs://快速启动。cloudera:8020/user/hive/warehouse/customer/.metadata/descriptor.properties 为了dataset:customer
根据检查,元数据与hive imports之间存在差异。使用--hive import参数的导入没有所需的元数据:
Supplier/.metadata/descriptor.properties
我的问题是,是否可以在sqoop中导入一个表,并使用--as parquetfile和--hive import选项,然后也可以导出它?
这是我的进出口代码示例供参考:
sqoop export \
--connect "jdbc:sqlserver://192.168.1.23;database=SqoopDB;schema=dbo;" \
--username sa \
--password Password1 \
--export-dir /user/hive/warehouse/customer \
--table customer
sqoop import \
--connect "jdbc:sqlserver://192.168.1.23;database=SourceDB;schema=dbo" \
--username sa \
--password Password1 \
--table Customer \
--as-parquetfile \
--hive-import \
--hive-overwrite \
-m 1
暂无答案!
目前还没有任何答案,快来回答吧!