时间戳

首页 > 解决方案 > 如何使用 r 中的整洁文本进行二元组主题建模？

r - 如何使用 r 中的整洁文本进行二元组主题建模？

问题描述

因此，我尝试使用 tidytext 包进行 bigrams 主题建模，按照 tidytext 网站上的步骤进行操作：https ://www.tidytextmining.com/ngrams.html 。

我能够进入“word_counts”部分，R 计算每个二元组的频率。

“word_counts”返回以下内容：

   customer_id       word          n
   <chr>            <chr>        <int>
 1 00000001234  sample text        45
 2 00000002345  good morning       30
 3 00000003456  happy friday       24

下一步是将上面的信息放入 dtm 格式

我的代码如下：

lda_dtm <- word_counts %>%
  cast_dtm(customer_id, word, n)

发出警告消息：

Warning message:
Trying to compute distinct() for variables not found in the data:
- `row_col`, `column_col`
This is an error, but only a warning is raised for compatibility reasons.
The operation will return the input unchanged.

但是“lda_dtm”看起来格式正确。

lda_dtm
<<DocumentTermMatrix (documents: 9517, terms: 341545)>>
Non-/sparse entries: 773250/3249710515
Sparsity           : 100%
Maximal term length: NA
Weighting          : term frequency (tf)

但是，当我尝试运行 lda 时，它不起作用。

burnin <- 4000
iter <- 300
thin <- 500
seed <-list(2003,5,63,100001,765)
nstart <- 5
best <- TRUE
k <- 6

out_LDA <- LDA(lda_dtm, 
                            k = k, 
                            method="Gibbs", 
                            control = list(nstart=nstart, 
                                           seed = seed, 
                                           best=best, 
                                           burnin = burnin, 
                                           iter = iter, 
                                           thin = thin))

提出了以下警告：

Error in seq.default(CONTROL_i@iter, control@burnin + control@iter, by = control@thin) : 
  wrong sign in 'by' argument

我在 tidy text 网站上没有看到关于bi-grams的主题建模教程，该教程是专门针对unigrams的。我应该如何调整格式以使其与bi-grams一起使用？

标签： rtext-miningn-gramtopic-modelingtidytext

解决方案

1：你从 cast_dtm 得到的消息实际上来自 cast_sparse。github 上有两个 issue #120 和 #121 处理这个问题。目前，这已在 github 上的包中修复，但尚未发布。

如果你愿意，你可以从 github 安装它devtools::install_github("juliasilge/tidytext")。

2：你从LDA得到的错误与1无关。如果你只是运行out_LDA <- LDA(lda_dtm, k = k)LDA会运行得很好。问题在于您的控制选项thin。这应该小于或等于 iter 参数。在您的情况下，这设置为 500，而 iter 为 300。因此出现错误。当thin 比iter 高1 时，您可以看到出现的错误。

推荐阅读