我有一个flume合并器，它在aws上写s3 bucket上的每个条目。
问题出在目录路径上。
事件应该写在/flume/events/%y-%m-%d/%h%m上，但它们在/flume/events/%y-%m-%d/%h%m上。
Flume似乎在开始处又加了一个“/”。
对这个问题有什么想法吗？我的路径配置有问题吗？
master.sources = source1
master.sinks = sink1
master.channels = channel1
master.sources.source1.type = netcat
# master.sources.source1.type = avro
master.sources.source1.bind = 0.0.0.0
master.sources.source1.port = 4555
master.sources.source1.interceptors = inter1
master.sources.source1.interceptors.inter1.type = timestamp
master.sinks.sink1.type = hdfs
master.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/events/%y-%m-%d/%H%M
master.sinks.sink1.hdfs.filePrefix = event
master.sinks.sink1.hdfs.round = true
master.sinks.sink1.hdfs.roundValue = 5
master.sinks.sink1.hdfs.roundUnit = minute
master.channels.channel1.type = memory
master.channels.channel1.capacity = 1000
master.channels.channel1.transactionCapactiy = 100
master.sources.source1.channels = channel1
master.sinks.sink1.channel = channel1
1条答案
按热度按时间5lhxktic1#
flume ng hdfs接收器没有实现任何特殊的s3支持。hadoop对s3有一些内置的支持，但是我不知道有谁在积极地开发它。据我所知，这是有点过时，可能有一些耐久性问题下失败。
也就是说，我知道有人用它，因为它“足够好”。
你是说“//xyz”（带有多个相邻的斜杠）是s3上的有效路径名吗？正如您可能知道的，大多数unix折叠相邻的斜杠。