加载45 gb数据文件时出现hbase性能问题

gopyfrb3  于 2021-06-10  发布在  Hbase
关注(0)|答案(0)|浏览(182)

hbase性能问题
场景1->
我通过pig loader将数据加载到hbase表中,数据文件大约45gb,有6个进程将数据加载到6个不同的hbase表中。有些工序需要6-7小时才能完成,其他工序需要18小时。为什么我在hbase中会遇到这种异常行为?我的意思是说,相同数量的数据负载只需6-7个小时,有时甚至需要18个多小时。
场景2-->
在那之后,我实现了散列来将数据加载到hbase中,但是将数据加载到hbase中仍然需要很多时间。我一次测试一个过程,大约花了7个小时。
有谁能帮我提高hbase加载的性能吗。
谢谢你的忠告。问候阿米特

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题