HDFS Spark重新分区创建的分区大于128 MB

4bbkushb  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(190)

假设我有一个1.2 GB的文件,考虑到块大小为128 MB,它将创建10个分区。(或合并)到4个分区,这意味着每个分区肯定会超过128MB。在这种情况下,每个分区必须容纳320MB的数据,但是块大小是128MB。我有点困惑。这怎么可能呢?我们如何创建一个大于块大小的分区?

bihw5rsg

bihw5rsg1#

块具有固定大小,是保存在群集或计算机上特定位置的物理数据块。分区只是数据的逻辑划分,与物理位置无关。
有关更全面的说明,请参见my answer至“* 文件是否划分为块以存储在HDFS中?*”

相关问题