为什么sqoop增量作业没有保存metastore中最后更新的值?

7kqas0il  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(258)

我正在使用sqoop将数据从oracle导入hdfs。
我每天导入大约30个表(增量)。
今天我发现我的sqoop工作并没有在metastore中保存最后更新的值。它每天使用save列值进行增量导入。
下面是最后两个的日志days:-
2019年5月5日-

19/05/05 01:37:10 INFO tool.ImportTool: Lower bound value: 
TO_TIMESTAMP('2019-04-26 21:25:19.0', 'YYYY-MM-DD HH24:MI:SS.FF')
19/05/05 01:37:10 INFO tool.ImportTool: Upper bound value: 
TO_TIMESTAMP('2019-05-04 21:25:25.0', 'YYYY-MM-DD HH24:MI:SS.FF')

2019年5月6日-

19/05/06 01:37:34 INFO tool.ImportTool: Lower bound value: 
TO_TIMESTAMP('2019-04-26 21:25:19.0', 'YYYY-MM-DD HH24:MI:SS.FF')
19/05/06 01:37:34 INFO tool.ImportTool: Upper bound value: 
TO_TIMESTAMP('2019-05-05 21:25:23.0', 'YYYY-MM-DD HH24:MI:SS.FF')

在这里您可以看到它使用2019-04-26 21:25:19.0值作为最后更新。它会使我的目的地的数据重复。
那么我该怎么解决这个问题呢?
任何有关这方面的帮助将不胜感激。
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题