我在ec2上使用hadoopyarn over r3.xlarge示例,我使用spark-ec2脚本从ami启动示例。
在https://aws.amazon.com/ec2/instance-types/,r3.xlarge的规格如下:
vCPU: 4
Mem: 30.5 GiB
Storage: 1 x 80 GB
内存很好,free命令给了我这个结果:
root@ip-xxx-xx-xx-xxx ~]$ free -g
total used free shared buffers cached
Mem: 29 2 27 0 0 1
但存储与所示存储不一致。
root@ip-xxx-xx-xx-xxx ~]$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 7.8G 6.9G 783M 91% /
devtmpfs 15G 64K 15G 1% /dev
tmpfs 15G 0 15G 0% /dev/shm
只有~40gb而不是文档中指定的80gb是正常的吗?或者这是因为我从一个ami启动了这个示例?
2条答案
按热度按时间v1uwarro1#
您的文件系统可能在ebs上,而不是随附的示例存储
r3.xlarge
. 这是大多数非盟特派团的默认设置。注意ebs卷的大小不是图像的一部分。您可以在创建示例时选择它。示例存储在较大的示例类型上可用,如下所示:http://docs.aws.amazon.com/awsec2/latest/userguide/instancestorage.html
对于根存储设备,ami映像有两个选项。最常见的是ebs映像,它使用ebs作为根设备。由于ebs没有被锁定到特定的硬件,这些示例更加灵活。
另一个选项是带有示例存储根存储设备的ami。但是,您将失去停止示例而不终止、更改示例类型、调整存储设备大小以及与示例本身分开管理存储的能力。
示例存储ami通常被标记为s3。例如:
amzn-ami-hvm-2016.03.0.x86_64-s3
(ami-152bc275)。voase2hg2#
两个
tmpfs
目录不是丢失的80gb所在的位置。这看起来像是debian/ubuntu发行版。我可以复制一些和你的相似的东西df
:注意
/dev/xvda1
. 那是你的启动分区在elb上。您的80gb ssd实际上处于/dev/xvdb
. 你需要利用它:恭喜!您现在是80gb装载机的自豪所有者。好吧,还不到80gb。让我们获得80gb: