python - 新文本文档与现有文档列表的余弦相似度
问题描述
我有一个包含 1000 个带有相应关键字的文本文档的数据框。我想通过查找与列表中最相似的文档对应的关键字来提取新文档的关键字。
解决方案
首先将您的 csv 保存到数据帧 df 并使用以下函数进行余弦相似度计算。def get_cosine(vec1, vec2): intersection = set(vec1.keys()) & set(vec2.keys()) numerator = sum([vec1[x] * vec2[x] for x in intersection])
sum1 = sum([vec1[x]**2 for x in vec1.keys()])
sum2 = sum([vec2[x]**2 for x in vec2.keys()])
denominator = math.sqrt(sum1) * math.sqrt(sum2)
if not denominator:
return 0.0
else:
return float(numerator) / denominator
def text_to_vector(text):
word = re.compile(r'\w+')
words = word.findall(text)
return Counter(words)
def get_result(content_a, content_b):
text1 = content_a
text2 = content_b
vector1 = text_to_vector(text1)
vector2 = text_to_vector(text2)
cosine_result = get_cosine(vector1, vector2)
return cosine_result
然后遍历 df 并调用如下函数:
similarity=[]
for ind in df.index:
#my_doc="new document should go in here"
#prev_doc= "previous document for each index should go in here"
cos=get_result(my_doc, prev_doc)
similarity.append(cos)
max_ind= similarity.index(max(similarity))
您将获得最相似文档的索引位置
推荐阅读
- python - 如何在一个文件中合并多个 csv 文件包含许多工作表每张工作表用于一个 csv 文件
- python - 使用 Python 从文件夹中读取不同的音频文件格式
- swift - Back4app 与 Stripe 使用 swift iOS
- fortran - 如何将旧的 fortran 77 脚本更新为 f90 或更新的脚本?
- javascript - 为什么 useState react hook 会导致过多的重新渲染。React 限制渲染次数以防止无限循环
- mysql - 无法从 EC2 Django 实例连接到 Amazon RDS
- firebase - 如何使用 Kotlin 检查 Firebase 数据库中是否存在电子邮件?
- php - 是否可以在单个删除查询中从三个表中删除?
- plotly - Ploty Express 不反映地图上的图例/比例
- javascript - React-Redux:如何在 Reducer 函数中更改初始状态