sqoop和hive的问题

xmq68pz9  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(400)

我们面临以下问题,详情如下,请分享您的意见。
1) sqoop中--validate选项的问题
如果我们运行sqoop命令而不为其创建作业,那么validate可以工作。但是如果我们先创建一个作业,使用validate选项,validate似乎不起作用。

使用

sqoop import--connect“db connection”--username$user--password file$file_path--warehouse dir$tgt_dir--as textfile--字段以“|”结尾--行以“\n”结尾--表emp_table-m1--outdir$home/javafiles--验证

不适用于

sqoop job--create job|import|emp import--connect“db connection”--username$user--password file$file|path--warehouse dir$tgt|dir--as textfile--以“|”结尾的字段--以“\n”结尾的行--table emp|table-m1--outdir$home/javafiles--验证
2) 配置单元导入问题
如果我们是第一次在配置单元中导入数据,那么必须创建配置单元表(配置单元内部),因此我们在sqoop命令中保留“-create hive table”。
即使我保留“--createhivetable”选项,如果表已经存在,是否有任何方法可以在导入时跳过hive中的createtable步骤。
谢谢,酋长

mu0hgdu0

mu0hgdu01#

sqoop允许 --validate 仅适用于 sqoop import 以及 sqoop export 命令。
根据官方的sqoop用户指南,验证有以下限制,
所有表格选项
自由形式查询选项
导入到配置单元或hbase表的数据
使用--where参数导入
否,如果 --create-hive-table 选项时,如果目标表存在,则作业将失败。

相关问题