如何每天从oracle向hdfs加载增量记录?我们能用sqoop还是jobs先生?
z5btuh9x1#
sqoop正是为此目的而设计的,它将导致mr jobs执行复制数据的工作。有几种方法可以确定oracle表中的新内容,例如使用表的id,或者如果有日期修改字段,也可以使用日期修改字段。与hadoop中的大多数东西相比,sqoop非常简单。这里有一个指向doc的链接--搜索“incremental”或从7.2.9节开始获取更多信息。http://sqoop.apache.org/docs/1.4.6/sqoopuserguide.html仅供参考一旦您能正常工作,请查看sqoop扩展,它是为与oracle数据库一起使用而设计的,它使用了一种非常有效的方法来直接流式传输数据,使您的oracle数据库上的处理过程更加快速和轻量级。
1条答案
按热度按时间z5btuh9x1#
sqoop正是为此目的而设计的,它将导致mr jobs执行复制数据的工作。有几种方法可以确定oracle表中的新内容,例如使用表的id,或者如果有日期修改字段,也可以使用日期修改字段。
与hadoop中的大多数东西相比,sqoop非常简单。这里有一个指向doc的链接--搜索“incremental”或从7.2.9节开始获取更多信息。http://sqoop.apache.org/docs/1.4.6/sqoopuserguide.html
仅供参考一旦您能正常工作,请查看sqoop扩展,它是为与oracle数据库一起使用而设计的,它使用了一种非常有效的方法来直接流式传输数据,使您的oracle数据库上的处理过程更加快速和轻量级。