我想为我的服务器做一个系统监控应用程序，每分钟为mysql、memcached、apache等各种应用程序收集超过3万个数据点。我想知道哪个平台对这样的应用程序最有帮助。我的主要选择是hbase和cassandra。
如果我必须使用hbase，那么对于一个查询，我的行键应该是什么？这个查询必须回答一些问题，比如某个特定的ip或主机名，或者运行特定应用程序、特定数据中心或特定集群的所有计算机。假设所有参数在相当长的一段时间内都是变化的，识别特定机器的唯一方法就是它的uuid。也不需要基于uuid进行查询，而需要基于其ip或应用程序类型以及应用程序和进程。
由于在hbase中查询上滚查询和下钻查询并不容易，所以在cassandra中就很容易了。在设计这样一个系统时，我的偏好应该是什么。还有哪些平台可以选择？
还请说明这种系统的设计规范和数据模式
1条答案
按热度按时间kmb7vmvb1#
我想splunk正是你要找的。他们专门用大数据技术收集和分析日志文件。他们还提供免费版本，当然是有限的。
如果你想使用开源软件，我建议把你的任务分成两部分：a）存储，b）查询/分析。“拆分”方法的优点是，您可以在以后选择合适的分析系统。
对于a）我建议使用hdfs和日志文件收集器，如flume或chuckwa。您还可以使用这些系统进行一些预过滤。
对于b）查看系统，如Hive、钻或Spark。我不确定hbase是否是最好的主意，因为您从一开始就限制了分析的范围。