我的目标是以解析的形式将arcsight转换中心的arcsight cef消息转换为elasticsearch。但是,弹性堆栈中可用的输入选项都不起作用:
logstash arcsight模块根本无法通过ssl with transformation hub工作:kafka使用者无法为任何密钥库类型和路径加载ssl密钥库(logstash arcsight模块)
带有kafka插件的logstash确实可以使用ssl从arcsight transofrmation hub读取数据,但它只读取大约50%的数据,因此kafka队列延迟总是增加,无论我尝试何种设置(我还尝试了9个logstash示例,每个示例读取9个transformation hub/kafka管道中的1个,但是仍然可以获得与单个logstash示例相同数量的事件):
https://discuss.elastic.co/t/logstash-slow-input-for-tcp-cef-codec/199808
https://discuss.elastic.co/t/never-possible-to-ingest-more-than-2-5k-with-cef-codec-enabled/152496
filebeat还通过ssl和客户端证书验证与arcsight transformation hub配合使用。然而,它使用的是解码处理器。如果没有经过修改的filebeat管道,它将无法解析某些windows事件,并且最多有5k eps(我需要50k eps)。使用自定义管道,它可能可以解析所有内容,但几乎没有任何事件进入elasticsearch(每小时5000个事件,而不是每秒50000个事件)。
所以问题是,如果elastic work提供的3个“标准”选项都没有,如何将arcsight的数据导入elasticsearch?
暂无答案!
目前还没有任何答案,快来回答吧!