hadoop中的数据存储复制与云中的雪花

42fyovps  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(273)

在hadoop中,为了容错,数据被复制三次(默认值):例如:如果输入数据的大小为5gb,那么数据被复制为15gb,在转换之后,数据被存储在其他存储区域(5gb)。总计(在hadoop中)=25gb
然后是如何在雪花中存储和复制数据。与hadoop相比,snowflake体系结构中是否存在存储复制?雪花=?

yks3o0rb

yks3o0rb1#

snowflake本身不复制数据,但是,它使用云供应商特定的对象存储,通常提供多级复制(例如amazon aws中的s3用于aws托管的snowflake区域)。另见snowflake 2016 sigmod论文中的第4.2.1节。
如果您是从成本Angular 考虑的,那么复制是对用户隐藏的,“标价”是用户支付的。请注意,雪花对压缩数据大小收费。根据数据的不同,该大小可以小于或大于输入大小。

相关问题