我正在测试flume将数据加载到hhase中,并考虑使用flume的选择器和interceptor进行并行数据加载,因为源和汇之间存在速度差。
所以,我想用Flume做的是
使用拦截器的regex\u提取器类型创建事件头
将具有标头的事件多路传输到具有选择器多路传输类型的两个以上通道
在一个源-通道-接收器中。
并尝试如下配置。
agent.sources = tailsrc
agent.channels = mem1 mem2
agent.sinks = std1 std2
agent.sources.tailsrc.type = exec
agent.sources.tailsrc.command = tail -F /home/flumeuser/test/in.txt
agent.sources.tailsrc.batchSize = 1
agent.sources.tailsrc.interceptors = i1
agent.sources.tailsrc.interceptors.i1.type = regex_extractor
agent.sources.tailsrc.interceptors.i1.regex = ^(\\d)
agent.sources.tailsrc.interceptors.i1.serializers = t1
agent.sources.tailsrc.interceptors.i1.serializers.t1.name = type
agent.sources.tailsrc.selector.type = multiplexing
agent.sources.tailsrc.selector.header = type
agent.sources.tailsrc.selector.mapping.1 = mem1
agent.sources.tailsrc.selector.mapping.2 = mem2
agent.sinks.std1.type = file_roll
agent.sinks.std1.channel = mem1
agent.sinks.std1.batchSize = 1
agent.sinks.std1.sink.directory = /var/log/flumeout/1
agent.sinks.std1.rollInterval = 0
agent.sinks.std2.type = file_roll
agent.sinks.std2.channel = mem2
agent.sinks.std2.batchSize = 1
agent.sinks.std2.sink.directory = /var/log/flumeout/2
agent.sinks.std2.rollInterval = 0
agent.channels.mem1.type = memory
agent.channels.mem1.capacity = 100
agent.channels.mem2.type = memory
agent.channels.mem2.capacity = 100
但是,它不起作用!
当选择器部分被移除时,flume的日志中有一些拦截器调试消息。但当选择器和拦截器在一起时,就什么都没有了。
有没有什么错误的表达或者我遗漏了什么?
感谢阅读。:)
1条答案
按热度按时间rbpvctlc1#
我找到了。
Flume日志中有如下警告信息。
所以我把它附在下面
然后它就工作了!!!!