时间戳

首页 > 解决方案 > 在摄取管道中使用搜索模板

elasticsearch - 在摄取管道中使用搜索模板

问题描述

ElasticSearch 摄取管道可以使用搜索模板作为其脚本吗？

具体来说，我想配置一个摄取管道，以便每当进入特定类型的数据时，我们会在 ElasticSearch 中查询一些相关数据，并根据结果在原始数据上填充一个（或多个字段），然后再加载它在。

我看到摄取管道可以使用脚本（https://www.elastic.co/guide/en/elasticsearch/reference/master/script-processor.html），并且脚本可以包含搜索模板（https://www. elastic.co/guide/en/elasticsearch/reference/master/modules-scripting-using.html），但我无法找到有关可能将两者结合起来的任何信息。

标签： elasticsearchdata-ingestionelasticsearch-template

解决方案

实际上，您要求的功能是通过新的丰富处理器在 7.5 中提供的，该处理器提供索引时间 JOIN 功能。

主要思想是设置一个丰富策略，将来自相关索引的数据源到一个新的“丰富索引”中，然后您可以使用丰富处理器在摄取管道中利用该“丰富索引”，以丰富您的文档相关领域。

因此，无需过多详细说明，以下是它在实践中的工作方式：

  1. A您有一个包含字段 ( a, b, c, )的索引d，您想使用它来丰富传入的文档
  2. 您根据该索引A和“加入”字段定义丰富策略a
  3. 您定义了一个带有丰富处理器的摄取管道，它将尝试将z传入文档的字段A.a与丰富索引的字段进行匹配
  4. 如果找到匹配项，您的传入文档将获得 fields b，c并d从 index A。请注意，它还将获得匹配字段 a ，remove如果需要，您可以使用处理器将其删除。

这几乎是你所期望的。你可以在这里找到一个完整的例子。一开始，它将适用于精确匹配（即term查询）和地理匹配（即geo_shape查询），但它们可能会在不久的将来添加新类型的匹配（如range匹配）。

推荐阅读