我正在寻找一种方法来推动日志数据从只读文件夹到hdfs使用flume。如我所知，flume spooldir需要写访问权限来更改完成后的文件名，因此我想创建一个临时文件夹作为spooldir，并使用rsync将文件复制到其中，然后将其用作spooldir。但是，据我所知，一旦flume（myfile.completed）更改了dest文件夹中的文件，rsync进程就会再次复制它，对吗？还有别的解决办法吗？
p4rjhz4m1#
另一个来源是 ExecSource . 你可以开一个 tail 命令并开始处理数据。不过，您必须考虑到这是一个不可靠的源，因为在将数据放入代理通道时无法从错误中恢复。
ExecSource
tail
1条答案
按热度按时间p4rjhz4m1#
另一个来源是
ExecSource. 你可以开一个tail命令并开始处理数据。不过，您必须考虑到这是一个不可靠的源，因为在将数据放入代理通道时无法从错误中恢复。