我正在尝试索引es中的多个文件。由于有许多文件,而且每个文件都有自己的索引,所以顺序索引在生产中的使用似乎很慢。我想要的是并行索引多个文件。假设我有100个文件,希望一次索引10个文件,并分10批完成索引。我原以为10个文件索引和单个文件索引所用的时间是一样的,因为它们是并行执行的,而且资源也足够了。但是,在es端,索引是按顺序进行的,索引10个文件所需的时间几乎是单个文件所需时间的10倍。
似乎es索引是按顺序运行的,尽管从这个问题发出了索引的并行请求。有没有可能并行索引数据以减少索引时间,或者我在这里遗漏了什么?谢谢你的帮助
注意:我在单节点设置中测试这个。那会是个问题吗?
1条答案
按热度按时间f0ofjuux1#
由于您没有提供代码和性能测试编号,因此很难猜测您犯了什么错误,我猜您是在同时发送10个不同的索引请求,当您说并行请求的方式不正确时,您应该使用bulk api,这是您的设置的正确选择。
如果您已经在使用批量api,请提供进一步调试问题所需的所有相关信息。