时间戳

首页 > 解决方案 > 使用频率计数的前缀搜索

elasticsearch - 使用频率计数的前缀搜索

问题描述

在我索引文本的那一刻，我将每个单词的频率计数存储在数据库中。这很好用，因为所有搜索都基于整个单词并且所有可能的搜索都是已知的。但是现在我想添加前缀搜索的选项（搜索单词的一部分）。我可以使用以下方法从使用 elasticsearch 的前缀搜索中获取结果/命中：

GET /my_index/address/_search
{
    "query": {
        "prefix": {
            "main_text": "word_part"
        }
    }
}

见：https ://www.elastic.co/guide/en/elasticsearch/guide/current/prefix-query.html

这是我当前的映射：

{
    "my-index":{
        "mappings":{
            "doc":{
                "properties":{
                    "keycounter":{
                        "properties":{
                            "counter": {"type":"integer"},
                            "keyword":{"type":"keyword"}
                         }
                    },
                    "main_text":{
                        "type":"text", 
                        "fielddata":true
                    },
                    "main_text_keycounter":{
                        "properties":{
                            "counter":{
                                "type":"long"
                            },
                            "keyword":{
                                "type":"text", 
                                "fields":{
                                    "keyword":{
                                        "type":"keyword",
                                        "ignore_above":256
                                    }
                                }
                            }
                        }
                    },
                    "time_written":{
                        "type":"date"
                    },
                    "translated_text":{
                        "type":"text",
                        "fielddata":true
                    },
                }
            }
        }
    }
}

但我不想计算我得到的每个结果的频率，因为每个文本都会花费 O(N)。是否有一些聪明的方法可以使用弹性搜索从这种类型的搜索中存储/获取频率计数？

标签： elasticsearchelasticsearch-6

解决方案

您可以使用 elasticsearch 的doc-termvectors功能来获取术语统计信息和术语计数。像这样，您可以使用映射存储文档并在查询时获取前缀术语的统计信息。当然，这种方法为您提供每个结果文档的术语统计信息，因此您必须为所有结果汇总它。

这是一个映射、索引文档和doc-termvectors查询的示例。您还可以使用edge-ngram标记器来获取前缀术语的统计信息。

映射：

PUT /my-index
{
  "mappings": {
    "doc": {
      "properties": {
        "main_text": {
          "type": "text",
          "fielddata": true,
          "term_vector": "with_positions_offsets_payloads",
          "store": true
        }
      }
    }
  }
}

索引文件：

POST /my-index/doc/1
{
  "main_text": "foo bar foo"
}

获取术语向量：

POST /my-index/doc/1/_termvectors

结果：

...
"terms": {
    ...
    "foo": {
      "term_freq": 2,
      "tokens": [
        {
          "position": 0,
          "start_offset": 0,
          "end_offset": 3
        },
        {
          "position": 2,
          "start_offset": 8,
          "end_offset": 11
        }
      ]
    }
    ...

编辑

如果要获取多个termvectors文档，可以使用_mtermvectors端点。它将为您提供多个文档的统计信息。但是，它不会计算所有文档中的术语频率，正如我理解你的问题你想要的那样。作为一种解决方案，您可以将结果存储termvectors在您的弹性（相同的索引或单独的索引）中，然后使用聚合来计算总体术语计数。

POST /my-index/doc/_mtermvectors
{
  "ids": [
    "1",
    "2"
  ],
  "parameters": {
    "fields": [
      "main_text"
    ],
    "term_statistics": true
  }
}

编辑

然后我认为解决方案是调用termvectors所有文档并存储结果，即在另一个索引中的所有术语和子术语频率。通过根据您的搜索查询汇总结果，您将获得您想要的结果。

推荐阅读