deisgn:存储所有kafka主题消息的通用ElasticSearch索引

ulydmbyx  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(208)

嗨,我是新来的弹性堆栈。这基本上是一个基于设计的问题。我们有很多kafka主题(>500),每个主题都将json存储为数据交换格式。现在我们计划构建一个kafka消费者,并将所有记录/json转储到一个索引中。我们有一些要求,但首先最重要的一个要求是,能够根据几个重要字段值搜索所有相关的json。例如,如果我有多个json的字段关联id值为xyz,那么如果我输入xyz,那么它应该能够搜索所有主题。
另外一个问题是,既然我们使用kibana,我们是否有一些内置的可视化搜索工具,这样我们就不需要构建自己的ui了?这只是为了管理层搜索特定的值,不需要太花哨。
最好的做法是,只有一个索引是最好的设计吗?我们需要考虑什么?我读到了关于标准分析仪的文章,想知道这是否足以满足我们的目的。假设-所有Kafka主题都将存储json,每个json可以是不同的格式。有些可能有很多嵌套,有些可能有嵌套对象。有些可能很简单。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题