hadoop—为什么即使文件大小不是64mb,也要分割块文件?

3htmauhk  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(504)

我使用flume将twitter数据下载到hdfs中。虽然我有超过2GB的数据,但我的区块文件分割小于64mb。i、 第一个文件300kb,第二个文件566KB。为什么会这样?

bxfogqkk

bxfogqkk1#

这是因为你的Flume配置。
阅读本文,您将必须设置hdfs.rollinterval或hdfs.rollsize

相关问题