ec2 r3.xl较大的存储空间与文档不符

cmssoen2  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(219)

我在ec2上使用hadoopyarn over r3.xlarge示例,我使用spark-ec2脚本从ami启动示例。
在https://aws.amazon.com/ec2/instance-types/,r3.xlarge的规格如下:

vCPU: 4
Mem: 30.5 GiB
Storage: 1 x 80 GB

内存很好,free命令给了我这个结果:

root@ip-xxx-xx-xx-xxx ~]$ free -g
             total       used       free     shared    buffers     cached
Mem:            29          2         27          0          0          1

但存储与所示存储不一致。

root@ip-xxx-xx-xx-xxx ~]$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1      7.8G  6.9G  783M  91% /
devtmpfs         15G   64K   15G   1% /dev
tmpfs            15G     0   15G   0% /dev/shm

只有~40gb而不是文档中指定的80gb是正常的吗?或者这是因为我从一个ami启动了这个示例?

v1uwarro

v1uwarro1#

您的文件系统可能在ebs上,而不是随附的示例存储 r3.xlarge . 这是大多数非盟特派团的默认设置。注意ebs卷的大小不是图像的一部分。您可以在创建示例时选择它。
示例存储在较大的示例类型上可用,如下所示:http://docs.aws.amazon.com/awsec2/latest/userguide/instancestorage.html
对于根存储设备,ami映像有两个选项。最常见的是ebs映像,它使用ebs作为根设备。由于ebs没有被锁定到特定的硬件,这些示例更加灵活。
另一个选项是带有示例存储根存储设备的ami。但是,您将失去停止示例而不终止、更改示例类型、调整存储设备大小以及与示例本身分开管理存储的能力。
示例存储ami通常被标记为s3。例如: amzn-ami-hvm-2016.03.0.x86_64-s3 (ami-152bc275)。

voase2hg

voase2hg2#

两个 tmpfs 目录不是丢失的80gb所在的位置。这看起来像是debian/ubuntu发行版。我可以复制一些和你的相似的东西 df :

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             15G   12K   15G   1% /dev
tmpfs           3.0G  328K  3.0G   1% /run
/dev/xvda1      7.8G  790M  6.6G  11% /
none             15G     0   15G   0% /run/shm

注意 /dev/xvda1 . 那是你的启动分区在elb上。您的80gb ssd实际上处于 /dev/xvdb . 你需要利用它:

mkdir -p /mnt/ssd && mkfs.ext4 /dev/xvdb \
  && echo '/dev/xvdb /mnt/ssd auto defaults,nobootwait 0 0' >> /etc/fstab \
  && mount /mnt/ssd

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev             15G   12K   15G   1% /dev
tmpfs           3.0G  328K  3.0G   1% /run
/dev/xvda1      7.8G  790M  6.6G  11% /
/dev/xvdb        74G   52M   70G   1% /mnt/ssd

恭喜!您现在是80gb装载机的自豪所有者。好吧,还不到80gb。让我们获得80gb:

$ df -H
Filesystem      Size  Used Avail Use% Mounted on
udev             17G   13k   17G   1% /dev
tmpfs           3.3G  336k  3.3G   1% /run
/dev/xvda1      8.4G  828M  7.1G  11% /
/dev/xvdb        80G   55M   76G   1% /mnt/ssd

相关问题