除了基本设置之外,还可以提高sqoop的性能

avwztpqn  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(345)

我想提高sqoop导入的性能。我使用的是sqoop1.4.7版本,源数据库是oracle。我有一个事实tbale,它几乎有超过1亿行。我想把这些数据加载到hadoop中。下面我们可以做一些事情
使用--m选项增加Map器。使用boundary query fetch size我不能使用direct query
除此之外,还有什么方法可以提高性能。
提前谢谢库马尔

11dmarpk

11dmarpk1#

嘿,你可以参考下面的网站,了解sqoop中的性能调优
https://community.cloudera.com/t5/community-articles/sqoop-performance-tuning/ta-p/248260

相关问题