时间戳

首页 > 解决方案 > 如何转换数据并计算 TFIDF 值？

python-3.x - 如何转换数据并计算 TFIDF 值？

问题描述

我的数据格式是： datas = {[1,2,4,6,7],[2,3],[5,6,8,3,5],[2],[93,23,4,5,11,3,5,2],...} datas 中的每个元素是一个句子，每个数字是一个单词。我想得到每个数字的 TFIDF 值。如何用sklearn或其他方式做到这一点？

我的代码：

from sklearn.feature_extraction.text import TfidfTransformer  
from sklearn.feature_extraction.text import CountVectorizer  
datas = {[1,2,4,6,7],[2,3],[5,6,8,3,5],[2],[93,23,4,5,11,3,5,2]}
vectorizer=CountVectorizer()

transformer = TfidfTransformer()
tfidf = transformer.fit_transform(vectorizer.fit_transform(datas))  
print(tfidf)

我的代码不起作用。错误：

Traceback (most recent call last):   File
"C:/Users/zhuowei/Desktop/OpenNE-master/OpenNE-
master/src/openne/buildTree.py", line 103, in <module>
    X = vectorizer.fit_transform(datas)   File
"C:\Users\zhuowei\Anaconda3\lib\site-
packages\sklearn\feature_extraction\text.py", line 869, in fit_transform
    self.fixed_vocabulary_)   File "C:\Users\zhuowei\Anaconda3\lib\site-
packages\sklearn\feature_extraction\text.py", line 792, in _count_vocab
    for feature in analyze(doc):   File 
"C:\Users\zhuowei\Anaconda3\lib\site-
packages\sklearn\feature_extraction\text.py", line 266, in <lambda>
    tokenize(preprocess(self.decode(doc))), stop_words)   File 
"C:\Users\zhuowei\Anaconda3\lib\site-
packages\sklearn\feature_extraction\text.py", line 232, in <lambda>
    return lambda x: strip_accents(x.lower()) 
AttributeError: 'int' object has no attribute 'lower'

标签： python-3.xscikit-learnnlptf-idf

解决方案

您正在使用CountVectorizer它需要一个可迭代的字符串。就像是：

datas = ['First sentence', 
         'Second sentence', ...
          ...
         'Yet another sentence']

但是您的数据是列表列表，这就是发生错误的原因。您需要将内部列表设置为字符串才能使 CountVectorizer 工作。你可以这样做：

datas = [' '.join(map(str, x)) for x in datas]

这将导致datas如下所示：

['1 2 4 6 7', '2 3', '5 6 8 3 5', '2', '93 23 4 5 11 3 5 2']

现在这个表格可以被CountVectorizer. 但即使那样你也不会得到正确的结果，因为token_patternCountVectorizer中的默认值：

token_pattern : '(?u)\b\w\w+\b'</p>

字符串正则表达式表示什么构成“令牌”，仅在分析器 == 'word' 时使用。默认的正则表达式选择2 个或更多字母数字字符的标记（标点符号被完全忽略并始终视为标记分隔符）

为了让它将您的数字视为单词，您需要更改它，以便它可以通过执行以下操作接受单个字母作为单词：

vectorizer = CountVectorizer(token_pattern=r"(?u)\b\w+\b")

然后它应该工作。但是现在你的数字变成了字符串

推荐阅读