hadoop-2.3中的集中式缓存失败

hxzsmxv2 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(334)

我想在hadoop-2.3中使用集中式缓存。
这是我的步骤(10个节点，每个节点6g内存）
1.要缓存的我的文件（45m）

[hadoop@Master ~]$ hadoop fs -ls /input/pics/bundle
Found 1 items
-rw-r--r--   1 hadoop supergroup   47185920 2014-03-09 19:10 /input/pics/bundle/bundle.chq

2.创建缓存池

[hadoop@Master ~]$ hdfs cacheadmin -addPool myPool -owner hadoop -group supergroup 
Successfully added cache pool myPool.
[hadoop@Master ~]$ hdfs cacheadmin -listPools -stats  
Found 1 result.
NAME    OWNER   GROUP       MODE            LIMIT  MAXTTL  BYTES_NEEDED  BYTES_CACHED  BYTES_OVERLIMIT  FILES_NEEDED  FILES_CACHED
myPool  hadoop  supergroup  rwxr-xr-x   unlimited   never             0             0                0             0             0

3.1指令

[hadoop@Master ~]$ hdfs cacheadmin -addDirective -path /input/pics/bundle/bundle.chq -pool myPool -force -replication 3 
Added cache directive 2

4.1指令

[hadoop@Master ~]$ hdfs cacheadmin -listDirectives -stats -path /input/pics/bundle/bundle.chq -pool myPool
Found 1 entry
ID POOL     REPL EXPIRY  PATH                            BYTES_NEEDED  BYTES_CACHED  FILES_NEEDED  FILES_CACHED
2 myPool      3 never   /input/pics/bundle/bundle.chq      141557760             0             1             0

需要的字节是正确的，但缓存的字节是零。似乎大小已经计算过了，但将文件放入内存的缓存操作还没有完成。那么如何将我的文件缓存到内存中呢。非常感谢你。

hadoop Caching in-memory centralized

来源：https://stackoverflow.com/questions/22293358/centralized-cache-failed-in-hadoop-2-3

2条答案

按热度按时间

wbrvyc0a1#

包括 hdfs dfsadmin -report 这也很有用，并且确保您遵循了此处的设置说明（即，增加ulimit并设置dfs.datanode.max.locked.memory）：
http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/centralizedcachemanagement.html

赞(0）回复(0）举报 2021-06-04

dwthyt8l2#

我们在Hadoop2.3中修复了一堆bug。我建议至少使用hadoop2.4来使用hdfs缓存。
要深入了解更多细节，我需要查看日志消息。

赞(0）回复(0）举报 2021-06-04