sqoop导入不会跳过avrodatafile的头,尽管表中没有数据

pftdvrlh  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(237)

使用sqoop将数据从rdms导入hdfs。用于给定导入的文件格式为“avro”。当我根据给定的条件对多个表运行sqoop命令时,有些表的记录数等于零。我希望记录数为零的表不应该从rdms导入头或创建一个0kb的文件。但事实并非如此。它创建了一个包含头的文件,尽管没有数据。
有人能告诉我们要在sqoop命令中添加参数来实现这一点吗?
目前使用的sqoop命令:

sqoop import -Dmapreduce.job.classloader=true  \
        --connect ${url} \
        --username ${un} \
        --password-alias ${alias} \
        --query "$query$conditions" \
        --m $num_mapper \
        --split-by "$split_by" \
        --target-dir "$target_dir" \
        --delete-target-dir \
        --as-avrodatafile

sqoop版本:1.4.7

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题