我使用以下命令通过sqoop将数据从rdbms导入hdfs: sqoop import --connect ... --table ... --hive-import --hive-table --m 20
所以这个命令将在hdfs中的一个dir下创建20个文件。
如果我以后决定导入另一个数据并覆盖现有数据,我将使用以下命令: sqoop import --connect ... --table ... --hive-import --hive-overwrite --hive-table --m 10
.
sqoop的行为是什么?
sqoop将转到dir,删除之前的20个文件,并创建10个新文件。
sqool将从20个文件中删除所有数据,然后从现有的20个文件中随机写入10个新数据。
1条答案
按热度按时间a8jjtwal1#
Option 1
sqoop只会overwrite the existing 20 files with new 10 files
.有关更多信息,请参阅此和此链接。