到管道的数据输入来自数据库或web记录器。管道处理它并将其放入hdfs中，然后将数据移动到nosql数据库。监控系统将对此进行端到端监控。
hvvq6cgz1#
您可以考虑使用elk stack（elasticsearch、logstash、kibana）。在每个节点上，摄取、处理和插入数据库，请查看是否可以添加有关要处理的每个文件/记录的日志。您可以在每个节点上部署logstash，并为其编写解析逻辑，将这些逻辑写入elasticsearch，并使用kibana可视化这些逻辑。您还可以考虑使用elastic.co的watcher插件生成错误警报。以下是一些供您开始使用的链接。安装ekl日志分析提醒
1条答案
按热度按时间hvvq6cgz1#
您可以考虑使用elk stack（elasticsearch、logstash、kibana）。在每个节点上，摄取、处理和插入数据库，请查看是否可以添加有关要处理的每个文件/记录的日志。
您可以在每个节点上部署logstash，并为其编写解析逻辑，将这些逻辑写入elasticsearch，并使用kibana可视化这些逻辑。
您还可以考虑使用elastic.co的watcher插件生成错误警报。
以下是一些供您开始使用的链接。
安装ekl
日志分析
提醒