实时日志处理和警报生成

xn1cxnb4  于 2021-06-24  发布在  Storm
关注(0)|答案(5)|浏览(325)

假设我有一个连续的日志条目流(例如防火墙日志),我需要一个能够处理事件流并对其进行实时计算的工具(例如,计算一个时间窗口内不同ip地址的访问次数,比如10分钟),并在满足某些条件(例如,访问次数>100)时触发警报。
我知道storm项目、influxdb、opentsdb、kairosdb,但除了strom之外,它们看起来不像是为这种处理而设计的工具。我的问题是,是否有人知道一种更适合这种工作的工具。

mwyxok5s

mwyxok5s1#

您可以将您的消息(日志条目)馈送到kafka队列并将storm与之集成,storm和kafka之间有一个很好的集成,称为kafkaspout,它是一个从kafka集群读取的喷口。
要在一个时间窗口内进行实时处理,可以检查esper,它通常是一个复杂事件处理单元(cep)。对于您提到的事件流处理应该非常有用。
strom和esper之间的集成可以在这里找到。
以及一个基本的esper实现示例

6ljaweal

6ljaweal2#

你可以看看伊凡。它具有基于场景的设计器,可以为同一流运行并行或顺序的多个场景。事件和操作生成只需一次,然后gui拖放方法就可以用于创建许多场景。。

67up9zun

67up9zun3#

我们正在使用风暴(结合Kafka)为类似的工作,并喜欢使用它很多。该工具产生的错误总是如人们所希望的那样有用和描述性的,但是,总的来说,一旦克服了这些错误,它就提供了一个非常可靠和健壮的基础结构。
如果警报需求足够简单(不需要关联事件、从其他资源获取数据等),那么直接使用kafka(或其他消息传递系统)甚至可能是有意义的。
在检查备选方案的同时,我们还对s4进行了调查(http://incubator.apache.org/s4/),但是,它似乎并没有像风暴那样获得那么多的动力。
Spark(https://amplab.cs.berkeley.edu/projects/spark-lightning-fast-cluster-computing/)它主要针对hadoop那样的批处理,但是也有一个针对流处理的主动性。

1qczuiv0

1qczuiv04#

值得一看splunk。使用splunk,您可以实时监控和警报。它还支持实时搜索和分析功能。splunk基本上是在一个可搜索的存储库中捕获、索引和关联实时数据,用户可以从中生成图形、报告、警报、 Jmeter 板和可视化效果,从最终用户的Angular 来看,这将非常容易。

5jvtdoz2

5jvtdoz25#

要获得更面向操作的解决方案,可以查看graylog。缺点是你没有像storm那样的无限可能,所以你不能做的事情你也不能编码它(至少不容易,但它是开源的)。
此外,您可以很好地使用centreon获得更完整的解决方案。这完全取决于您的示例是随机的,还是您的实际用例(如果是这种情况,请查看ops工具,而不是编程工具)。外面有很多监控工具。)。

相关问题