r - 计算R中多词的词频?
问题描述
我正在尝试计算给定文本中多词的频率。例如,考虑以下文本:“环境研究环境研究环境研究研究科学能源、经济学、农业、生态学和生物学”。然后我想要文本中出现“环境研究”这个组合词的次数。这是我尝试过的代码。
library(tm)
#Reading the data
text = readLines(file.choose())
text1 = Corpus(VectorSource(text))
#Cleaning the data
text1 = tm_map(text1, content_transformer(tolower))
text1 = tm_map(text1, removePunctuation)
text1 = tm_map(text1, removeNumbers)
text1 = tm_map(text1, stripWhitespace)
text1 = tm_map(text1, removeWords, stopwords("english"))
#Making a document matrix
dtm = TermDocumentMatrix(text1)
m11 = as.matrix(text1)
freq11 = sort(rowSums(m11), decreasing=TRUE)
d11 = data.frame(word=names(freq11), freq=freq11)
head(d11,9)
但是,此代码分别生成每个单词的频率。相反,我如何获得“环境研究”在文本中一起出现的次数?谢谢!
解决方案
如果你已经有一个多词列表并且你想计算它们在文本中的频率,你可以使用str_extract_all
:
text <- "Environmental Research Environmental Research Environmental Research study science energy, economics, agriculture, ecology, and biology"
library(stringr)
str_extract_all(text, "[Ee]nvironmental [Rr]esearch")
[[1]]
[1] "Environmental Research" "Environmental Research" "Environmental Research"
如果您想知道多词出现的频率,您可以这样做:
length(unlist(str_extract_all(text, "[Ee]nvironmental [Rr]esearch")))
[1] 3
如果您有兴趣一次提取所有多字,可以这样进行:
首先定义一个包含所有多字的向量:
multiwords <- c("[Ee]nvironmental [Rr]esearch", "study science energy")
然后使用paste0
将它们折叠成一串替代模式并str_extract_all
在该字符串上使用:
str_extract_all(text, paste0(multiwords, collapse = "|"))
[[1]]
[1] "Environmental Research" "Environmental Research" "Environmental Research" "study science energy"
要获得多词的频率,您可以使用table
:
table(str_extract_all(text, paste0(multiwords, collapse = "|")))
Environmental Research study science energy
3 1
推荐阅读
- asp.net-mvc - ASP.NET MVC & MEF - 可插拔架构
- python - 使用聚合管道运算符和 python 代码创建 MongoDB 视图
- ironpython - IronPython 中“sizeof”运算符的替代方案是什么?
- python - 如何使用计算字段创建弹出向导?
- c# - 如何将具有多个值的 URL 解析为多个 int
- python - 如何在 html 代码标签中插入缩进?
- google-bigquery - 使用多行达到 Bigquery JS UDF 限制
- r - speedglm 返回“$ 运算符对原子向量无效”,而 glm 不返回
- css - 删除清除按钮的任何解决方案在火狐上?
- php - 为来自远程服务器的文件提供特定的 ID