我使用flume将twitter数据下载到hdfs中。虽然我有超过2GB的数据,但我的区块文件分割小于64mb。i、 第一个文件300kb,第二个文件566KB。为什么会这样?
bxfogqkk1#
这是因为你的Flume配置。阅读本文,您将必须设置hdfs.rollinterval或hdfs.rollsize
1条答案
按热度按时间bxfogqkk1#
这是因为你的Flume配置。
阅读本文,您将必须设置hdfs.rollinterval或hdfs.rollsize