python - LDA:主题模型 gensim 给出相同的主题集
问题描述
为什么我在 gensim lda 模型中得到相同的主题集#字?我使用了这些参数。我检查了我的语料库中没有重复的文档。
lda_model = gensim.models.ldamodel.LdaModel(corpus=MY_CORPUS,
id2word=WORD_AND_ID,
num_topics=4,
minimum_probability=minimum_probability,
random_state=100,
update_every=1,
chunksize=100,
passes=10,
alpha='auto', # symmetric, asymmetric
per_word_topics=True)
结果
[
(0, '0.004*lily + 0.01*rose + 0.00*jasmine'),
(1, '0.005*geometry + 0.07*algebra + 0.01*calculation'),
(2, '0.003*painting + 0.001*brush + 0.01*colors'),
(3, '0.005*geometry + 0.07*algebra + 0.01*calculation')
]
注意:主题#1 和#3 相同。
解决方案
每个主题都可能包含大量不同权重的单词。当一个主题被显示(例如使用lda_model.show_topics()
)时,你只会得到几个权重最大的词。这并不意味着剩余词汇之间的主题之间没有差异。
您可以控制显示的单词数来检查剩余的权重:
show_topics(num_topics=4, num_words=10, log=False, formatted=True)
并更改num_words
参数以包含更多单词。
现在,还有一种可能:
- 主题的数量应该不同(例如 3 个),
- 或
minimum_probability
更小(您使用的值是多少?), - 或
passes
更大的数量, chunksize
更小,- 语料库更大(大小是多少?)或去掉停用词(你这样做了吗?)。
我鼓励您尝试使用这些参数的不同值,以检查是否有任何组合效果更好。
推荐阅读
- machine-learning - 解释机器学习如何准确地确定结果
- node.js - FUNCTION_ERROR_INIT_FAILURE AWS lambda
- amazon-web-services - 基于非活动任务更快地杀死 ECS 容器?
- python - 使用 python pandas 处理包含嵌套 json 的列
- xml - 在所有节点的不同之后提取第一个和第二个节点
- android - 自动更改图像并计算出现的图像
- ios - 在 Swift 中的 Firebase 实时数据库观察方法中具有异步函数的 DispatchGroup
- spring - 异常处理程序方法没有被调用spring boot
- arrays - Modelica mos 脚本中数组大小的预分配
- c# - 创建多个具有依赖关系的孩子的服务