时间戳

首页 > 解决方案 > 没有 SnowBall Analyzer 或自定义分析器的 Lucene.NET 中的英语词干提取或词形还原

lucene.net - 没有 SnowBall Analyzer 或自定义分析器的 Lucene.NET 中的英语词干提取或词形还原

问题描述

有没有过时的 Lucene.NET 分析器可以进行英语词干提取或词形还原，或者我需要编写自定义分析器吗？

我似乎找不到包含PorterStemFilter或包含EnglishMinimalStemFilter在源代码中的分析器。我可以编写自己的分析器，但感觉不应该这样做，而且我会重新发明错误的轮子。

我正在尝试在 Lucene.NET 中对英语单词进行词干提取。据我所知，这不是开箱即用的。我尝试像这样使用EnglishAnalizer：

[TestFixture]
public class TestAnalyzers
{
    private const string FieldName = "CustomFieldName"; 

    public Directory CreateDirectory(IEnumerable<string> documents, Analyzer analyzer)
    {
        var directory = new RAMDirectory();
        var iwc = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer)
        {
            OpenMode = OpenMode.CREATE_OR_APPEND,
        };
        var writer = new IndexWriter(directory, iwc);
        writer.Commit();
        foreach(var doc in documents) {
            var document = new Document();
            document.AddTextField(FieldName, doc, StoredField.Store.YES);
            writer.AddDocument(document);
        }

        writer.Flush(true, true);
        writer.Commit();
        return directory;
    }

    private QueryParser CreateQueryParser(Analyzer analyzer) 
        => new MultiFieldQueryParser(
        LuceneVersion.LUCENE_48,
        GetSearchFields(),
        analyzer);

    private string[] GetSearchFields() => new [] { FieldName };



    [TestCase("for", "for")]
    [TestCase("for", "forward")]
    [TestCase("forward", "for")]
    //[TestCase("retire", "retirement")]
    [TestCase("retirement", "retire")]
    [Test]
    public void TestPartialWordsStandard(string fieldValue, string query)
    {
        var analyzer = new EnglishAnalyzer(LuceneVersion.LUCENE_48);
        var directory = CreateDirectory(new [] { fieldValue }, analyzer);

        var indexReader = DirectoryReader.Open(directory);
        Assert.AreEqual(1, indexReader.NumDocs);
        var doc = indexReader.Document(0);
        Assert.NotNull(doc);
        Assert.AreEqual(fieldValue, doc.GetField(FieldName).GetStringValue());


        var searcher = new IndexSearcher(indexReader);

        var queryObj = CreateQueryParser(analyzer).Parse(query);

        var results = searcher.Search(queryObj, 2);

        Assert.AreEqual(1, results.TotalHits);
        doc = indexReader.Document(results.ScoreDocs.First().Doc);
        Assert.AreEqual(fieldValue, doc.GetField(FieldName).GetStringValue());

    }
}

它没有阻止。通过阅读代码，它使用所有格过滤器来删除 's 和 s , but not the english stemming filter or thePorterStemFilter`。

我能够通过var analyzer = new SnowballAnalyzer(LuceneVersion.LUCENE_48, "English");.它足够的词干来进行一些词干提取，但是该类已经过时了。

标签： lucene.netstemming

解决方案

Lucene.NetEnglishAnalyzer确实包括搬运工词干。在该类的源代码的第 117行是这一行：

result = new PorterStemFilter(result);

我还在我的系统中运行了一个测试，EnglishAnalyzer并确认它实际上是词干。因此，例如，我的索引文本包含单词“walking”，当我搜索“walked”时，我在记录中得到了点击。

推荐阅读