在sqoop import语句中使用append和last modified

jjhzyzn0 于 2021-06-03 发布在 Sqoop

关注(0)|答案(1)|浏览(314)

我们正在使用 sqoop 从oracle数据库提取数据 HDFS . 人们习惯于定期更新并向sql表中添加新行。我知道 sqoop 增量进口 --append 以及 --last modified 选项。
我的问题是我们是否可以在同一个import语句中同时使用这两个选项？
例如，

sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100

或者我们需要分开使用？或者其他更好的方法？

hdfs sqoop bigdata

来源：https://stackoverflow.com/questions/46377193/using-append-and-last-modified-in-sqoop-import-statement

1条答案

按热度按时间

2q5ifsrm1#

我自己找到了答案。 lastmodified 可以根据上次修改的列处理更新和新添加的行。不需要使用 Append 在这种情况下。

赞(0）回复(0）举报 2021-06-04

我来回答

在sqoop import语句中使用append和last modified

1条答案

相关问题

热门标签

最新问答