sqoop支持从分区的oracle表中提取数据吗

w8ntj3qf  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(342)

我有一个非常大的oracle表,它是一个分区表,我会问sqoop是否支持或如何支持基于oracle分区的拆分,例如,一个Map器从一个oracle分区导入。

toe95027

toe950271#

sqoop支持从oracle分区表导入。这是文件。
语法是这样的

sqoop import \
-Doraoop.disabled=false \
-Doraoop.import.partitions='"PARTITION-NAME","PARTITION-NAME1","PARTITION-NAME2",' \
--connect jdbc:oracle:thin:@XXX.XXX.XXX.XXX:15XX:SCHEMA_NAME \
--username user \
--password password \
--table SCHEMA.TABLE_NAME \
--target-dir /HDFS/PATH/ \
-m 1

将为同时将数据写入hdfs的每个分区分配一个Map器。
创建配置单元表时,请确保启用了“动态分区”属性,并且“分区数”属性值也高于oracle中现有的分区。

相关问题