时间戳

首页 > 解决方案 > 使用 sklearn 如何计算文档和查询之间的 tf-idf 余弦相似度？

python - 使用 sklearn 如何计算文档和查询之间的 tf-idf 余弦相似度？

问题描述

我的目标是输入 3 个查询并找出哪个查询与一组 5 个文档最相似。

到目前为止，我已经计算了tf-idf执行以下操作的文件：

from sklearn.feature_extraction.text import TfidfVectorizer

def get_term_frequency_inverse_data_frequency(documents):
    allDocs = []
    for document in documents:
        allDocs.append(nlp.clean_tf_idf_text(document))
    vectorizer = TfidfVectorizer()
    matrix = vectorizer.fit_transform(allDocs)
    return matrix

def get_tf_idf_query_similarity(documents, query):
    tfidf = get_term_frequency_inverse_data_frequency(documents)

我现在遇到的问题是我拥有tf-idf文档，我对查询执行了哪些操作，以便找到与文档的余弦相似度？

标签： pythonscikit-learntf-idfcosine-similarity

解决方案

这是我的建议：

  • 我们不必两次拟合模型。我们可以重用相同的矢量化器
  • TfidfVectorizer文本清理功能可以直接使用preprocessing属性 插入。
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

vectorizer = TfidfVectorizer(preprocessor=nlp.clean_tf_idf_text)
docs_tfidf = vectorizer.fit_transform(allDocs)

def get_tf_idf_query_similarity(vectorizer, docs_tfidf, query):
    """
    vectorizer: TfIdfVectorizer model
    docs_tfidf: tfidf vectors for all docs
    query: query doc

    return: cosine similarity between query and all docs
    """
    query_tfidf = vectorizer.transform([query])
    cosineSimilarities = cosine_similarity(query_tfidf, docs_tfidf).flatten()
    return cosineSimilarities

推荐阅读