在flume中,如何获取多个动态实时文件

vddsk6oq  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(570)

我有一个程序,每分钟运行一次,并使用strace命令同时生成多个日志文件。例如,在第一次运行时,它可能会开始跟踪10个进程,其中一个日志文件名是唯一的PID,这将一直运行,直到整个扫描完成。同时,第二次运行将开始,它可能会开始跟踪更多的进程id。现在我想继续使用flume将这些strace日志流式传输到另一个服务器。我尝试使用spool,但是,因为我有多个动态实时文件,所以,这是一个坏的选择。我想使用exec(tail),但如前所述,文件名是多个的,而且非常动态,因此无法找到配置源代码的最佳方法。明智的建议。谢谢。

6tdlim6h

6tdlim6h1#

我也经历过类似的情况。
那时,
使用exec源代码,开发自定义程序作为exec源代码的命令。该程序监视特定的目录,如果regexpr检测到合适的文件名,则创建线程来读取它,并将内容写入stdout-like-tail。
我也很好奇有没有更简单的方法来解决这类问题

相关问题