如果源表没有时间戳列或任何类似的日期列，并且客户端不允许对源表进行任何更改，如何使用sqoop incremental lastmodified。请指导！
rdlzhqv91#
通过指定先前集成的最后一行，可以基于主自动增量键获取新插入的行。
如果源表也被更新，唯一的方法就是获取整个表，并使用基于所有列的哈希函数比较source和target。通过使用 hash() 函数更新配置单元表有几种方法：合并（在hive2中效果更好）和第二部分如果您使用的是稳定配置单元1.2.x版本，请用两个语句update/insert替换merge
hash()
1条答案
按热度按时间rdlzhqv91#
1. 源表永远不会更新，只需追加
通过指定先前集成的最后一行，可以基于主自动增量键获取新插入的行。
2. 源表已更新并插入
如果源表也被更新，唯一的方法就是获取整个表，并使用基于所有列的哈希函数比较source和target。通过使用
hash()函数更新配置单元表有几种方法：合并（在hive2中效果更好）和第二部分
如果您使用的是稳定配置单元1.2.x版本，请用两个语句update/insert替换merge