我在找flume“spooling directory source”递归查找子目录中的文件。这里有一些参考资料https://issues.apache.org/jira/browse/flume-1899 然而,从那时起,出现了多个版本,有没有任何方法可以在后台处理源文件的子目录中进行递归目录查找。
ujv3wf0j1#
我想你可以直接使用补丁flume-1899-2.patch。在配置文件中将“recursivedirectorysearch”设置为true。注意:配置文件的ignorepattern中的regex也会影响recursivedirectory文件夹名。因此,如果要忽略文件夹名,可能需要修改org/apache/flume/client/avro/reliablespoolingfileeventreader.java中的代码。
1条答案
按热度按时间ujv3wf0j1#
我想你可以直接使用补丁flume-1899-2.patch。在配置文件中将“recursivedirectorysearch”设置为true。
注意:配置文件的ignorepattern中的regex也会影响recursivedirectory文件夹名。因此,如果要忽略文件夹名,可能需要修改org/apache/flume/client/avro/reliablespoolingfileeventreader.java中的代码。