初识IKAnalyzer

package com.sunmap.analyzer;

import java.io.IOException;
import java.io.Reader;
import java.io.StringReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
import org.apache.lucene.analysis.tokenattributes.PositionIncrementAttribute;
import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
import org.wltea.analyzer.lucene.IKTokenizer;

/**
 *        自己实现IK分词器
 *    
 *        分词器的核心类Analyzer,TokenStream,Tokenizer,TokenFilter.
 *        Analyzer:Lucene中的分词器有StandardAnalyzer, StopAnalyzer,SimpleAnalyzer,WhitespaceAnalyzer
 *        TokenStream:分词器做好处理之后得到的一个流,这个流中存储了分词的各种信息.可以通过TokenStream有效的获取到分词单元
 *        Tokenizer:主要负责接收字符流Reader,将Reader进行分词操作.
 *        TokenFilter:将分好词的语汇单元进行各种各样的过滤. 
 *
 */
public class MyAnalyzer extends Analyzer{

    /*
     * 分词类的大体流程：
     * 1.首先要写一个继承自Analyzerde的类，即：MyAnalyzer
     * 2.MyAnalyzer对象调用tokenStream（String str,Reader reader）方法时该方法会调用createComponents(String arg0, Reader arg1)方法，
     *     createComponentsfan方法是继承Analyzer类必须要重写的方法，也就是你要创建什么样类型的分词类；
     * 
     *     tokenStream(String str,Reader reader)在调用时，里面有将分好词的语汇单元进行各种各样的过滤.
     * 
     * */
    
    
    @Override
    protected TokenStreamComponents createComponents(String arg0, Reader arg1) {
        System.out.println("----------createComponents------------");
        //这块我们采用的还是IK分词机制，如果想写别的分词，就创建别的对象
        return new TokenStreamComponents(new IKTokenizer(arg1, true));
    }
    
    public static void main(String[] args) {
        MyAnalyzer myAnalyzer = new MyAnalyzer();
        String text = "2016年是小米的关键年，处于势能与舆论是否转向的关键时期，是持续调整还是能扭转态势，乐观的认为触底反弹，悲观的认为大势已去，属于小米的时代已经过去。小米还有招吗，还能迎来第二春吗？14";
        try {
            //
            // 将一个字符串创建成Token流,第一个参数没啥用处
            TokenStream tokenStream = myAnalyzer.tokenStream("1111",
                    new StringReader(text));
            // 获取词与词之间的位置增量
            PositionIncrementAttribute postiona = tokenStream.addAttribute(PositionIncrementAttribute.class);
            // 获取各个单词之间的偏移量
            OffsetAttribute offseta = tokenStream.addAttribute(OffsetAttribute.class);
            // 获取每个单词信息(保存相应词汇)
            CharTermAttribute chara = tokenStream.addAttribute(CharTermAttribute.class);
            // 获取当前分词的类型
            TypeAttribute typea = tokenStream.addAttribute(TypeAttribute.class);
            
            tokenStream.reset();
            while (tokenStream.incrementToken()) {
                 System.out.print("位置增量" +postiona.getPositionIncrement()+":\t");
                 System.out.println(chara+"\t[" + offseta.startOffset()+" - " + offseta.endOffset() + "]\t<" + typea.type() +">");
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
}