时间戳

首页 > 解决方案 > wowool词典中stem和normalized_stem的区别

dictionary - wowool词典中stem和normalized_stem的区别

问题描述

我正在使用 wowool，但在词典中我看不出 stem 或 normalized_stem 之间有任何区别。我什么时候应该使用其中一种？我的样本来自文档：“我喜欢猕猴桃。猕猴桃很好。” 两者似乎都匹配

lexicon: (input="stem") : { kiwi } =Fruit;

和

lexicon: (input="normalized_stem") : { kiwi } =Fruit;

标签： dictionarynlp

解决方案

这是正常的，因为根形式KIWISiskiwi所以 stem 和 normalized_stem 将匹配。如果您要使用带有首字母大写的 Kiwi，那么只有 normalized_stem 会匹配，原因是 Kiwi 的词干是专有名词，因此不会被词干。我建议您在尝试决定是使用 stem 还是 normalized_stem 时查看单词的词干。

    // Wowool Source
    lexicon: (input="stem") { kiwi } =S_Fruit;
    lexicon: (input="normalized_stem") { kiwi } =NS_Fruit;

./wow -l en -i "I like kiwis. I like Kiwis are good. Kiwis" --domains rules

    -- EyeOnText WoWoolConsole 2.1.0
    1:Process:stream_16840253095957608044 (42b/42b)
    Language:english
    s(0,13)
    {Sentence
        t(0,1) "I" (init-cap, init-token)['I':Pron-Pers, +1p, +sg]
        t(2,6) "like" ['like':V-Pres, +inf, +positive]
    {NS_Fruit
    {S_Fruit
        t(7,12) "kiwis" ['kiwi':Nn-Pl]
    }S_Fruit }NS_Fruit
        t(12,13) "." ['.':Punct-Sent]
    }Sentence
    s(14,36)
    {Sentence
        t(14,15) "I" (init-cap, init-token)['I':Pron-Pers, +1p, +sg]
        t(16,20) "like" ['like':V-Pres, +inf, +positive]
        t(21,26) "Kiwis" (init-cap, nf, nf-lex)['Kiwis':Prop-Std]
        t(27,30) "are" ['be':V-Pres-Pl-be]
        t(31,35) "good" ['good':Adj-Std]
        t(35,36) "." ['.':Punct-Sent]
    }Sentence
    s(37,42)
    {Sentence
    {NS_Fruit
    {S_Fruit
        t(37,42) "Kiwis" (init-cap, init-token)['kiwi':Nn-Pl]
    }S_Fruit }NS_Fruit }Sentence

推荐阅读