我对elasticsearch是新手，我想索引我的网站日志，这些日志存储在hdfs上，以便快速查询。我有一个结构良好的管道，每20分钟运行一个脚本，将数据接收到hdfs中。我想将elasticsearch与之集成，以便它也基于特定字段对这些日志进行索引，从而使用sparksql提供更快的查询结果。所以，我的问题是，我是否可以仅基于特定字段对数据进行索引？另外，我的日志以avro文件格式保存。es提供了一种直接索引avro序列化数据的方法，还是需要将其转换为其他格式？先谢谢你。
gt0wga4j1#
我建议你看看elasticsearch，logstash和kibana堆栈，它们应该足够满足你的需求。将其放在hdfs上，然后使用es将是额外的开销。相反，您可以使用logstash将数据输入es，对您希望查询的任何字段建立索引，并在不到10分钟的练习中构建简单的 Jmeter 板。请看本教程以获得更好的分步指南。http://hadooptutorials.co.in/tutorials/elasticsearch/log-analytics-using-elasticsearch-logstash-kibana.html
1条答案
按热度按时间gt0wga4j1#
我建议你看看elasticsearch，logstash和kibana堆栈，它们应该足够满足你的需求。将其放在hdfs上，然后使用es将是额外的开销。
相反，您可以使用logstash将数据输入es，对您希望查询的任何字段建立索引，并在不到10分钟的练习中构建简单的 Jmeter 板。请看本教程以获得更好的分步指南。
http://hadooptutorials.co.in/tutorials/elasticsearch/log-analytics-using-elasticsearch-logstash-kibana.html