时间戳

首页 > 解决方案 > Solr：在关键字中搜索带/不带空格

web - Solr：在关键字中搜索带/不带空格

问题描述

我在关键字中引入空格时遇到问题，例如：

这是正在使用的 fieldType：

    <fieldType name="text_en_splitting" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
        <analyzer type="index">
            <tokenizer class="solr.WhitespaceTokenizerFactory"/>
            <filter class="solr.HyphenatedWordsFilterFactory"/>
            <filter class="solr.EnglishMinimalStemFilterFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_en.txt"/>
            <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
            <filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" preserveOriginal="1"/>
            <filter class="solr.LowerCaseFilterFactory"/>
        </analyzer>
        <analyzer type="query">
            <tokenizer class="solr.WhitespaceTokenizerFactory"/>
            <filter class="solr.HyphenatedWordsFilterFactory"/>
            <filter class="solr.EnglishMinimalStemFilterFactory"/>
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_en.txt"/>
            <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
            <filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" preserveOriginal="1"/>
            <filter class="solr.LowerCaseFilterFactory"/>
        </analyzer>
    </fieldType>

我该如何解决这个问题，并使“playstation”和“play station”都匹配？对于我的示例，这仅限于 PlayStation，但它可能发生在任何搜索词上，例如“cyberpunk”、“cyber punk”。因此，需要大量手动工作（例如添加同义词）的解决方案play station => playstation是不可行的。

我尝试过但没有成功的事情：

标签： websearchsolr

解决方案

您可以使用Shingle 过滤器将多个令牌合并为一个。

<analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.HyphenatedWordsFilterFactory"/>
    <filter class="solr.EnglishMinimalStemFilterFactory"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_en.txt"/>
    <filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" preserveOriginal="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.ShingleFilterFactory"/>
</analyzer>

如果您假设在编制索引时术语拼写正确，则只能在查询时应用。它将为您连接令牌，有效地为您提供多个“合并”令牌：

play station camera => play, station, camera, playstation, stationcamera

..给定maxShingleSize=2。如果您将最大大小增加到 3，这也会给您playstationcamera一个单一的令牌（在这种情况下）。如果您有一些术语，人们可能会多次拆分一个单词，那么这可能是必要的。

如果您假设您的术语已正确编入索引，并且仅在查询时需要这样做，那么您的索引将不会更改，您也不必重新索引（并且大小不会更改）。

您可能需要更改过滤器的位置；你的词干过滤器会在神秘的地方打破这个，因为你最终会连接以前的词干。

推荐阅读