以“实时”速度重放日志文件?

fjaof16o  于 2021-06-03  发布在  Flume
关注(0)|答案(1)|浏览(280)

我正在着手开发一个工具,它应该能够以近乎实时的方式处理来自系统(如apache、syslog等)的日志文件。
我正准备使用storm/flume/hbase协处理器等工具来实现这一点。
因为我想能够测试这个离线在“全生产速度”,我正在寻找一个工具,可以帮助我重放旧的生产日志文件,以同样的速度,当我将系统挂接到我们的生产环境。
我一直在想,基本上我就是这么想的:
根据日志文件,我使用一些参数运行工具:
哪个日志文件
时间戳在哪一行
带“now”的时间偏移
然后,此工具读取文件(无输出),直到看到“now+offset”。
然后它开始以与日志文件中的时间戳指示的大致相同的速度输出行。
有没有这样的工具?
还是有更好的解决方案来运行这样一个离线的“全速”模拟?

rkttyhzu

rkttyhzu1#

我认为以下开源库(用go编写)可以满足您的要求:https://github.com/buger/gor/

相关问题