如何通过hdfs中的集中式缓存管理验证性能的提高

pepwfjgg  于 2021-05-30  发布在  Hadoop
关注(0)|答案(0)|浏览(208)

(在单机上)我安装了hadoop2.4.1。并编写了一个读取28.6MB序列文件的程序,该程序迭代10000次。然后得到结果:

Without  Centralized Cache
    Run              Time(in ms)
    1                19840
    2                15096
    3                14091
    4                14222
    5                14576

    With Centralized Cache
    Run              Time(in ms)
    1                19158
    2                14649
    3                14461
    4                14302
    5                14715

我还编写了一个map reduce作业,并将其迭代25次,结果如下:

Without  Centralized Cache
    Run              Time(in ms)
    1                909265
    2                922750
    3                898311

    With Centralized Cache
    Run              Time(in ms)
    1                898550
    2                897663
    3                926033

找不到使用集中式缓存和不使用集中式缓存之间的主要性能差异。如何使用集中式缓存提高性能?建议使用集中式缓存提高性能的其他方法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题