如何创建作业以将elasticsearch索引中的所有文档作为数据流进行处理?

5fjcxozz  于 2021-06-15  发布在  ElasticSearch
关注(0)|答案(1)|浏览(378)

我想创建一个作业,可以在elasticsearch索引中运行所有文档,并在每个文档上应用一些任务。
我们的平台通常构建在nodejs上,因此我们可以使用https://www.npmjs.com/package/elasticsearch-streams
有人能提出其他方法来实现同样的目标吗?也许是麋鹿特有的?

m1m5dgzv

m1m5dgzv1#

扫描elasticsearch索引中所有文档的方法是使用scrollapi:scrollapi docs
从您粘贴的elasticsearch streams包文档来看,它们似乎确实支持滚动,因此我建议使用以下方法:
https://www.npmjs.com/package/elasticsearch-streams#stream-elasticsearch的滚动扫描结果

相关问题