r - Rvest - 无法读取网站内容 - 不知道选择哪些节点
问题描述
描述
我正在抓取网页以检索相关数据。作为示例,我将使用此 URL:
例子
https://isbnsearch.org/search?s=THE+GODFATHER+%2C+Mario+Puzo
我的第一次迭代基本上是搜索“教父,马里奥·普佐”,结果显示在发布的 URL 中。
问题
我正在尝试使用read_html()
,但我不知道要在html_nodes()
函数中包含什么来检索任何有意义的数据。我尝试使用 'table' 或类似的东西,但没有奏效:返回一个空列表。
最终目标是获得第一个搜索结果的 ISBN-13 或 ISBN-10。我可以解决这个问题,我只需要访问数据。
我假设*解决方案看起来像:
url <- 'https://isbnsearch.org/search?s=THE+GODFATHER+%2C+Mario+Puzo'
data<-read_html(url) %>% html_nodes("something") %>% #maybe another function
但是我不知道,希望有人能帮忙。
提前致谢。
解决方案
如果您在 Chrome 中右键单击 ISBN 并选择“检查”,您会看到每个搜索结果都是具有以下结构的列表项(为清楚起见,省略了一些元素):
<ul id="searchresults">
<li>
<div class="bookinfo">
<h2><a href="/isbn/9780451205766">The Godfather: 50th Anniversary Edition</a></h2>
<p>Author: Mario Puzo</p>
<p>ISBN-13: 9780451205766</p>
<p>ISBN-10: 0451205766</p>
<p class="clear"></p>
</div>
</li>
所以你想要的元素的 CSS 选择器是div.bookinfo p
.
您可以使用以下方法检索这些段落的文本:
p <- read_html("https://isbnsearch.org/search?s=THE+GODFATHER+%2C+Mario+Puzo")
p %>%
html_nodes("div.bookinfo p") %>%
html_text()
然后编写一些逻辑来仅访问感兴趣的 ISBN。例如,要使用以下命令返回所有 ISBN grep
:
p %>%
html_nodes("div.bookinfo p") %>%
html_text() %>%
grep("ISBN*", ., value = TRUE)
[1] "ISBN-13: 9780451205766" "ISBN-10: 0451205766" "ISBN-13: 9780345441706"
"ISBN-10: 0345441702" "ISBN-13: 9780345432407"
[6] "ISBN-10: 0345432401" "ISBN-13: 9780345412218" "ISBN-10: 0345412214"
"ISBN-13: 9780345476722" "ISBN-10: 0345476727"
[11] "ISBN-13: 9781936530335" "ISBN-10: 1936530333"
推荐阅读
- javascript - 如何在 mxgraph grapheditor 中导入 .vsd 格式
- c# - 获取Schedule和Material Takeoff的所有参数
- tensorflow - 这是我的神经网络的适当拓扑吗?
- sql - 从合并两列中选择忽略重复数据的数据
- tpm - TPM 2.0(可信平台模块)
- html - 如何取消转义 CSS
- vector - 无法寻找值初始化向量迭代器?
- bash - Bash:`sshpass`命令在嵌套的while循环中无法按预期工作
- z3 - Z3 SMT求解器中的存储机制
- java - 在 Spring Boot 中,为什么我没有将服务类的返回值返回到另一个服务类