python - 读入 SQL 文件并使用 Count Vectorizer 获取单词出现次数
问题描述
我想要读取一个SQL
文件并使用它CountVectorizer
来获取单词出现。
到目前为止,我有以下代码:
import re
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
df = pd.read_sql(q, dlconn)
print(df)
count_vect = CountVectorizer()
X_train_counts= count_vect.fit_transform(df)
print(X_train_counts.shape)
print(count_vect.vocabulary_)
这给出了一个输出'cat': 1, 'dog': 0
它似乎只取列的名称animal
并从那里开始计数。
如何让它访问整个列并获得一个图表,显示列中的每个单词及其频率?
解决方案
根据文档,该CountVectorizer
方法fit_transform()
需要一个可迭代的字符串。它不能DataFrame
直接处理a。
但是遍历数据框会返回列的标签,而不是值。我建议你试试df.itertuples()
。
尝试这样的事情:
value_list = [
row[0]
for row in df.itertuples(index=False, name=None)]
print(value_list)
print(type(value_list))
print(type(value_list[0]))
X_train_counts = count_vect.fit_transform(value_list)
中的每个值都value_list
应该是 type str
。让我们知道这是否有帮助。
这是一个小例子:
>>> import pandas as pd
>>> df = pd.DataFrame(['my big dog', 'my lazy cat'])
>>> df
0
0 my big dog
1 my lazy cat
>>> value_list = [row[0] for row in df.itertuples(index=False, name=None)]
>>> value_list
['my big dog', 'my lazy cat']
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> cv = CountVectorizer()
>>> x_train = cv.fit_transform(value_list)
>>> x_train
<2x5 sparse matrix of type '<class 'numpy.int64'>'
with 6 stored elements in Compressed Sparse Row format>
>>> x_train.toarray()
array([[1, 0, 1, 0, 1],
[0, 1, 0, 1, 1]], dtype=int64)
>>> cv.vocabulary_
{'my': 4, 'big': 0, 'dog': 2, 'lazy': 3, 'cat': 1}
现在您可以显示每行的字数(每个输入字符串分别):
>>> for word, col in cv.vocabulary_.items():
... for row in range(x_train.shape[0]):
... print('word:{:10s} | row:{:2d} | count:{:2d}'.format(word, row, x_train[row,col]))
word:my | row: 0 | count: 1
word:my | row: 1 | count: 1
word:big | row: 0 | count: 1
word:big | row: 1 | count: 0
word:dog | row: 0 | count: 1
word:dog | row: 1 | count: 0
word:lazy | row: 0 | count: 0
word:lazy | row: 1 | count: 1
word:cat | row: 0 | count: 0
word:cat | row: 1 | count: 1
您还可以显示总字数(行总和):
>>> x_train_sum = x_train.sum(axis=0)
>>> x_train_sum
matrix([[1, 1, 1, 1, 2]], dtype=int64)
>>> for word, col in cv.vocabulary_.items():
... print('word:{:10s} | count:{:2d}'.format(word, x_train_sum[0, col]))
word:my | count: 2
word:big | count: 1
word:dog | count: 1
word:lazy | count: 1
word:cat | count: 1
>>> with open('my-file.csv', 'w') as f:
... for word, col in cv.vocabulary_.items():
... f.write('{};{}\n'.format(word, x_train_sum[0, col]))
这应该阐明如何使用您拥有的工具。
推荐阅读
- markdown - 在 Sphinx 中对 Markdown 输出的 Autodoc 扩展支持
- sql - OracleSQL - 选择一列上具有 DISTINCT 的所有列
- javascript - 验证码图像解码base64
- android - 带上下文的无内存泄漏单例
- google-chrome - 禁用 Chrome 后如何在 Chrome 中启用网络安全?
- amazon-web-services - 在本地获取 sagemaker 容器
- javascript - Youtube 链接 src
- openapi - 引用组件属性的 OpenAPI 路径参数
- sql - Azure 可用备份显示“未找到数据库”
- python - 如何在 3D 图像上绘制坐标并显示它