以下摘录自权威指南,提供了如下所示的高级细节,但在这个任务计数器中,虚拟内存到底指的是什么?如何解读?它与物理内存字节有什么关系?下面是从其中一个作业中提取的示例。物理容量约为214 gb,虚拟容量约为611 gb。
vjrehmav1#
1.此任务计数器中的虚拟内存具体指什么?
Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem). in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.
因此,在设置hadoop集群时,建议使用 vm.swappiness =1 以获得更好的性能。在linux系统上,vm.swappeiness默认设置为60。值越高,内存页的交换越激烈。https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html2如何解读?它与物理内存字节有什么关系?
vm.swappiness =1
swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem
这是物理内存字节和虚拟内存字节之间的关系。
1条答案
按热度按时间vjrehmav1#
1.此任务计数器中的虚拟内存具体指什么?
因此,在设置hadoop集群时,建议使用
vm.swappiness =1
以获得更好的性能。在linux系统上,vm.swappeiness默认设置为60。值越高,内存页的交换越激烈。https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html
2如何解读?它与物理内存字节有什么关系?
这是物理内存字节和虚拟内存字节之间的关系。