sqoop通过硬编码边界值导入性能调优

ruoxqz4g  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(427)

我正在尝试增加sqoop导入时间,同时使用splitbykey和mappers运行sqoop导入。它生成一个边界值查找查询(

19/01/09 00:32:37 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: 
  SELECT MIN(TO_TIMESTAMP(USR_ACTN_DT, 'YYYY-MM-DD HH24:MI:SS.FF')), 
         MAX(TO_TIMESTAMP(USR_ACTN_DT, 'YYYY-MM-DD HH24:MI:SS.FF')) 
  FROM DB_schema.TABLENAME 
  WHERE ( USR_ACTN_DT > to_date('2018-12-03 19:45:12','YYYY-MM-DD HH24:MI:SS') )

).
对我来说,边界查询需要12个多小时才能得到响应,我知道需要传递的边界值。有没有办法在sqoop import中直接传递边界值而不是边界查询。。?

vcirk6k6

vcirk6k61#

正如您知道需要传递的边界值一样,您可以将--boundary query参数下的值指定为--boundary query“select 1100”
如果不行,就告诉我。

相关问题