我有一个Kafka源,内存通道和hdfs接收器组成。我要做的是将kafka源代码中的4条消息堆叠起来,然后在一个事务中将它们放入hdfs中。
agent.sinks.HDFS.hdfs.batchSize = 4
agent.sinks.HDFS.hdfs.path = hdfs://127.0.0.1:54310/flume/events/%y-%m-%d/%H%M/%S
agent.sinks.HDFS.hdfs.fileType = DataStream
agent.sinks.HDFS.hdfs.writeFormat = Text
agent.sinks.HDFS.hdfs.rollCount = 2
agent.sinks.HDFS.hdfs.rollInterval = 0
agent.sinks.HDFS.hdfs.rollSize = 0
我不知道为什么,但如果我每10分钟发送一次事件,它应该是40分钟,直到它在hdfs中注册数据,但它在第一个事件之后。
暂无答案!
目前还没有任何答案,快来回答吧!