首页 > 技术文章 > 中文分词工具

java-wjf 2017-12-24 19:02 原文

IK Analyzer:

    分词实现:根据内部主词典和扩充、停用等词典,算法,实现分词功能。

    机器自学习:不具备机器自学习。需要自己扩充词典。可根据词频等因素导入新词到扩展词库

    参考链接:https://www.cnblogs.com/walter371/p/5197511.html

FudanNLP

    分词实现: 根据已有的seg.m分词模板或者训练新的分词模板 和外部词库 实现分词功能。    

    机器自学习:根据各种语料,可以生成新的分词模板文件。

    参考链接:https://github.com/FudanNLP/fnlp/wiki/FNLP%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E8%AF%A6%E8%A7%A3

    

LingPipe

    分词实现: 未了解。

    机器自学习:根据语料,生成分词模板。

    参考链接:http://alias-i.com/lingpipe/demos/tutorial/chineseTokens/read-me.html

推荐阅读