flume-hdfs sink batchsize不工作

fjaof16o  于 2021-06-04  发布在  Flume
关注(0)|答案(0)|浏览(283)

我有一个Kafka源,内存通道和hdfs接收器组成。我要做的是将kafka源代码中的4条消息堆叠起来,然后在一个事务中将它们放入hdfs中。

agent.sinks.HDFS.hdfs.batchSize = 4
agent.sinks.HDFS.hdfs.path = hdfs://127.0.0.1:54310/flume/events/%y-%m-%d/%H%M/%S
agent.sinks.HDFS.hdfs.fileType = DataStream
agent.sinks.HDFS.hdfs.writeFormat = Text
agent.sinks.HDFS.hdfs.rollCount = 2
agent.sinks.HDFS.hdfs.rollInterval = 0
agent.sinks.HDFS.hdfs.rollSize = 0

我不知道为什么,但如果我每10分钟发送一次事件,它应该是40分钟,直到它在hdfs中注册数据,但它在第一个事件之后。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题