multitableinputformat比较两个表大约需要80分钟

klh5stk1  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(255)

我使用hbase multitableinputformat比较两个表:表1(700万),表2(3000万)。
在驱动程序中,我传递到扫描(没有任何过滤器)。在我的Map,我正在做一个比较,并写在减速机摘要。
任何特定于此场景的设置都可能加快此过程。谢谢。

fcg9iug3

fcg9iug31#

您是否使用了scanner缓存,它可以提高性能-example-scan.setcaching(1000);

相关问题