sqoop会删除所有现有的数据文件吗?

hiz5n14c  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(447)

我使用以下命令通过sqoop将数据从rdbms导入hdfs: sqoop import --connect ... --table ... --hive-import --hive-table --m 20 所以这个命令将在hdfs中的一个dir下创建20个文件。
如果我以后决定导入另一个数据并覆盖现有数据,我将使用以下命令: sqoop import --connect ... --table ... --hive-import --hive-overwrite --hive-table --m 10 .
sqoop的行为是什么?
sqoop将转到dir,删除之前的20个文件,并创建10个新文件。
sqool将从20个文件中删除所有数据,然后从现有的20个文件中随机写入10个新数据。

a8jjtwal

a8jjtwal1#

Option 1 sqoop只会 overwrite the existing 20 files with new 10 files .
有关更多信息,请参阅此和此链接。

相关问题