时间戳

首页 > 解决方案 > LDA Mallet 替代 get_document_topics - 衡量每个文档的主题

python - LDA Mallet 替代 get_document_topics - 衡量每个文档的主题

问题描述

目前正在使用 Python 和 Gensim Mallet 包装器进行 LDA 分析。在训练模型并获得主题之后，我想看看主题是如何分布在各种文档中的。在正常的 Gensim LDA 分析中，可以使用 get_document_topics 函数，我可以用它来遍历文件中的每个文档。但是，Mallet wrapper 没有此功能。我可以检索主题在一个特定文档上的分布，但找不到解决方案来收集和存储每个文档（例如列表或数据框）。

我可以使用以下代码来获取一个文档上的主题分布：

print (ldamallet[mm[6000]])

这将返回以下输出：

[(0, 0.3055555555555555), (1, 0.3253968253968254), (2, 0.36904761904761907)]

但是，我无法让它遍历我的数据集中或多或少的 9000 个文档。

可能相关的附加代码：

id2word = corpora.Dictionary(wordsFiltered)
id2word.filter_extremes(no_below=167, keep_tokens=None)
mm=[id2word.doc2bow(wordsFilter) for wordsFilter in wordsFiltered]
mallet_path = 'path'
ldamallet = gensim.models.wrappers.LdaMallet(mallet_path, corpus=mm, num_topics=3, id2word=id2word)

有人有什么建议吗？提前致谢！

标签： pythonldatopic-modeling

解决方案

设法找到一个相当简单的解决方案。以下代码为我提供了每个文档所有不同百分比的列表。

for m in ldamallet[mm]:
    topics_docs.append(m)

如果有人有使其更干净的建议或有其他方法，请随时分享。仍然是初学者，所以欢迎所有建议。

推荐阅读