elasticsearch 摄取管道应该只工作在新的传入文档和输出到新的索引

6za6bjd0 于 2023-03-22 发布在 ElasticSearch

关注(0)|答案(1)|浏览(114)

我有一个包含数百万文档的索引，它会定期获取新文档。我为它创建了一个摄取管道。但我只希望它能处理新传入的文档，因为以前的文档数量很大。
我使用_reindex连接我的索引和摄取管道，如下所示：

POST _reindex
{
  "source": {
    "index": "index*"
  },
  "dest": {
    "index": "new_index",
    "pipeline": "pipeline"
  }
}

我目前的管道如下：

{
  "processors": [
    {
      "gsub": {
        "field": "my_field",
        "pattern": "regex",
        "replacement": ""
      }
    }
  ]
}

这个摄取管道试图处理索引上的每个文档。但我只希望它处理即将到来的新数据。我如何才能实现这一点？

1条答案

您不需要_reindex来执行此操作，否则您基本上是在所有现有文档上运行它。
您只需使用default_pipeline设置配置索引：

PUT index*/_settings
{
   "index.default_pipeline": "pipeline"
}