如何每天从oracle向hdfs加载增量记录？我们能用sqoop还是jobs先生？
z5btuh9x1#
sqoop正是为此目的而设计的，它将导致mr jobs执行复制数据的工作。有几种方法可以确定oracle表中的新内容，例如使用表的id，或者如果有日期修改字段，也可以使用日期修改字段。与hadoop中的大多数东西相比，sqoop非常简单。这里有一个指向doc的链接--搜索“incremental”或从7.2.9节开始获取更多信息。http://sqoop.apache.org/docs/1.4.6/sqoopuserguide.html仅供参考一旦您能正常工作，请查看sqoop扩展，它是为与oracle数据库一起使用而设计的，它使用了一种非常有效的方法来直接流式传输数据，使您的oracle数据库上的处理过程更加快速和轻量级。
1条答案
按热度按时间z5btuh9x1#
sqoop正是为此目的而设计的，它将导致mr jobs执行复制数据的工作。有几种方法可以确定oracle表中的新内容，例如使用表的id，或者如果有日期修改字段，也可以使用日期修改字段。
与hadoop中的大多数东西相比，sqoop非常简单。这里有一个指向doc的链接--搜索“incremental”或从7.2.9节开始获取更多信息。http://sqoop.apache.org/docs/1.4.6/sqoopuserguide.html
仅供参考一旦您能正常工作，请查看sqoop扩展，它是为与oracle数据库一起使用而设计的，它使用了一种非常有效的方法来直接流式传输数据，使您的oracle数据库上的处理过程更加快速和轻量级。