over hbase hadoop的读取性能不好

5q4ezhmt  于 2021-06-08  发布在  Hbase
关注(0)|答案(0)|浏览(187)

当从hbase读取161000个元素(根据hdfs文件大小为462 mb)时,spark至少花费6秒钟来读取它们。
hbase配置为使用块缓存。在测试期间(此时没有其他进程运行),块缓存的大小为470.1 mb(752.0 mb可用)。
所有元素都在块缓存中。
执行器在1408MB内存的Yarn容器(Yarn模式)中运行。
一切都在单个节点(包括主节点)上通过amazonm4大型节点运行。
表中没有其他行,将执行范围扫描。
rdd初始化如下
执行器日志(在调试日志级别花费了8秒)
作业通过spark jobserver执行
即使是rdd上的一个简单计数(没有其他操作)也需要5秒钟
根据下面的数字,我不知道我能做些什么。遗嘱执行人的时间花在哪里?如何确定瓶颈?
非常感谢,sé巴斯蒂安。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题