我在hadoop集群上放了100个文件。我想确定namenode维护的与这些文件对应的元数据的大小。
k2arahey1#
我相信您所说的元数据是关于存储在datanode中的数据块的信息。所有这些细节都将保存在namenode内存ram中。namenode对于块元数据存储消耗大约150字节,对于文件元数据存储消耗大约150字节。因此,假设集群块大小为128mb,100个文件的大小都在100mb左右。然后每个文件在namenode中消耗300字节的内存。name节点将消耗300*100=30000字节的数据。这是考虑到复制是1x。这里做了详细的讨论。
1条答案
按热度按时间k2arahey1#
我相信您所说的元数据是关于存储在datanode中的数据块的信息。所有这些细节都将保存在namenode内存ram中。
namenode对于块元数据存储消耗大约150字节,对于文件元数据存储消耗大约150字节。因此,假设集群块大小为128mb,100个文件的大小都在100mb左右。然后每个文件在namenode中消耗300字节的内存。name节点将消耗300*100=30000字节的数据。这是考虑到复制是1x。
这里做了详细的讨论。