r - 使用 rvest 获取文本时如何保留换行符
问题描述
我正在从网站上提取法院判决的文本,并希望保留换行符(稍后我需要它来进行文本分析)。不幸的是,rvest's
html_text
删除了换行符,例如,最初由 \n 分隔的两个单词变得简单连接。例如,“GerichtAsylgerichtshof”实际上应该是“Gericht\nAsylgerichtshof”。
library(rvest, quietly = T, warn.conflicts = F)
library(tidyverse, quietly = T, warn.conflicts = F)
test_url <- "https://www.ris.bka.gv.at//Dokumente/AsylGH/ASYLGHT_20131125_E5_408_113_1_2009_00/ASYLGHT_20131125_E5_408_113_1_2009_00.html"
test_url_parsed <- test_url %>%
xml2::read_html() %>%
rvest::html_nodes(".contentBlock")
test_url_parsed
#> {xml_nodeset (5)}
#> [1] <div class="contentBlock">\n<h1 class="Titel AlignJustify">Gericht</h1>\n ...
#> [2] <div class="contentBlock">\n<h1 class="Titel AlignJustify">Entscheidungsd ...
#> [3] <div class="contentBlock">\n<h1 class="Titel AlignJustify">Geschäftszahl< ...
#> [4] <div class="contentBlock">\n<h1 class="Titel AlignJustify">Spruch</h1>\n< ...
#> [5] <div class="contentBlock">\n<h1 class="Titel AlignJustify">Text</h1>\n<p ...
#linebreak gets lost
x <- test_url_parsed %>%
html_text()
x[1]
#> [1] "GerichtAsylgerichtshof"
由reprex 包(v0.3.0)于 2020-05-14 创建
我发现了一些有希望的线索如何解决这个问题,但不幸的是我的具体问题没有成功。参见例如此处(将 html < br > 替换为 \n)和github 上的讨论。
请注意,换行符\n 不仅出现在标题中(例如< h1 >),而且贯穿整个文本(也出现在< p >)。
非常感谢。
解决方案
问题是在调用html_text
.
如果您将其作为 asapply
在您工作的级别的子级列表中运行,您将获得每一行作为向量的一个元素。例如节点 1:
html_children(test_url_parsed[[1]]) %>% html_text
[1] "Gericht" "Asylgerichtshof"
然后你必须将这些部分粘贴在一起:
html_children(test_url_parsed[[1]]) %>% html_text %>% paste0(collapse = "\n")
[1] "Gericht\nAsylgerichtshof"
以下代码对所有节点contentBlock
节点及其子节点运行该操作:
> resPaste <- lapply(sapply(FUN = html_children, X = test_url_parsed), function(node) paste0(html_text(node), collapse = "\n"))
这会产生您想要的结果:
> str(resPaste)
List of 5
$ : chr "Gericht\nAsylgerichtshof"
$ : chr "Entscheidungsdatum\n25.11.2013"
$ : chr "Geschäftszahl\nE5 408113-1/2009"
$ : chr "Spruch\nZl. E5 408.113-1/2009/13E\n\nIM NAMEN DER REPUBLIK!\n\nDer Asylgerichtshof hat durch die Richterin Dr. "| __truncated__
$ : chr "Text\nEntscheidungsgründe:\n\nI. Verfahrensgang und Sachverhalt:\n\nI.1.1. Der Beschwerdeführer, ein irakischer"| __truncated__
推荐阅读
- javascript - Javascript - 编写 js 插件时如何构建最小文件
- c++ - C++ 程序在迭代中变慢
- api - 如何根据窗口标题栏结束进程?
- python - pyGithub最大使用API调用率
- python - 使用 multiprocess.Process 创建进程以并行操作多个生成器,而不首先列出列表
- javascript - JS和正则表达式用于替换double = mark内的所有内容
- regex - 用于删除“|”的 Google Apps 脚本正则表达式 单引号,管道,单引号 - 导致超时
- javascript - Laravel Mix / Webpack:当我调用“npm run prod”时,它不会缩小 .scripts 但会缩小 .js
- c++11 - 使用接受 lambda 的模板函数重载
- java - 从另一个活动中检索微调器自定义位置以在另一个微调器中使用