首页 > 技术文章 > Assignment 1:Chinese Text Data Processing.

Deribs4 2015-11-19 22:11 原文

记录过程。

Lucene分词:http://blog.csdn.net/cyxlzzs/article/details/7999212

Lucene自定义词典:http://lilongbao.blog.163.com/blog/static/2128760512013689194583/

注意点:.dic文件要以utf-8保存

不过这里有一个疑惑:

.doc文件如果改为GBK保存,IKAnalyzer.cfg.xml文件的开头:<?xml version="1.0" encoding="UTF-8"?> 改为 <?xml version="1.0" encoding="GBK"?>  再运行,.java文件效果无效,也就自定义停止词典无效。

 

下面就是.txt文件的java读写实现。

java读取TXT文件的方法:http://www.cnblogs.com/manongxiaojiang/archive/2012/10/13/2722068.html

java逐行读取和写入文本文件txt:http://blog.csdn.net/softimes/article/details/7225879

已经改写,实现txt的java读入和写出。

 

将10个txt文件路径以String 类型读取,每个文件分词,每10个一行输出到新路径。

推荐阅读