TF-IDF学习笔记（二）

这篇文章将将TF-IDF的python实现。TF-IDF的原理可以参考：TF-IDF学习笔记（一）

（一）库介绍

使用的库为Scikit-learn：它是一个用于数据挖掘和数据分析的简单且有效的工具，它是基于Python的机器学习模块，基于BSD开源许可证。

Scikit-learn的基本功能主要被分为六个部分：分类(Classification)、回归(Regression)、聚类(Clustering)、数据降维(Dimensionality reduction)、模型选择(Model selection)、数据预处理(Preprocessing)。

Scikit-Learn中的机器学习模型非常丰富，包括SVM，决策树，GBDT，KNN等等，可以根据问题的类型选择合适的模型，具体可以参考官网文档，推荐大家从官网中下载资源、模块、文档进行学习。

Scikit-Learn的安装需要numpy、scipy、matplotlib等模块。

官方网址：http://scikit-learn.org/stable/

（二）TF-IDF计算

Scikit-Learn中TF-IDF权重计算方法主要用到两个类：CountVectorizer和TfidfTransformer。

1.CountVectorizer

CountVectorizer类会将文本中的词语转换为词频矩阵，例如矩阵中包含一个元素a[i][j]，它表示j词在i类文本下的词频。它通过fit_transform函数计算各个词语出现的次数，通过get_feature_names()可获取词袋中所有文本的关键字，通过toarray()可看到词频矩阵的结果。

代码如下：

# coding=utf-8
from sklearn.feature_extraction.text import CountVectorizer

#语料
corpus = [
    'This is the first document.',
    'This is the second second document.',
    'And the third one.',
    'Is this the first document?',
]

vectorizer = CountVectorizer()  #类调用
X = vectorizer.fit_transform(corpus)   #计算个词语出现的次数
word = vectorizer.get_feature_names()  #获取词袋中所有文本关键词
print word  #查看词袋中所有文本关键词
print X.toarray()  #查看词频结果

　　输出结果为：

2.TfidfTransformer

TfidfTransformer用于统计vectorizer中每个词语的TF-IDF值。具体用法如下：

# coding:utf-8
from sklearn.feature_extraction.text import CountVectorizer

#语料
corpus = [
    'This is the first document.',
    'This is the second second document.',
    'And the third one.',
    'Is this the first document?',
]
vectorizer = CountVectorizer()  #将文本中的词语转换为词频矩阵
X = vectorizer.fit_transform(corpus)#计算个词语出现的次数
word = vectorizer.get_feature_names()#获取词袋中所有文本关键词

from sklearn.feature_extraction.text import TfidfTransformer
transformer = TfidfTransformer()  #类调用
tfidf = transformer.fit_transform(X)  #将词频矩阵X统计成TF-IDF值
print tfidf.toarray()  #查看数据结构 tfidf[i][j]表示i类文本中的tf-idf权重

　　运行结果如下：

（三）liuxuejiang158大神的例子：python scikit-learn计算tf-idf词语权重