r - 使用 rvest 抓取类似名称的表

Question

我正在尝试使用 rvest 从 fbref.com 上的不同页面抓取数据表。我已经能够使用以下方法从一页中抓取数据：

library(rvest)
URL <- "https://fbref.com/en/squads/822bd0ba/Liverpool"
WS <- read_html(URL)
passStats <- WS %>% rvest::html_nodes(xpath = '//*[(@id = "ks_sched_all")]') %>% rvest::html_table() %>% data.frame()

但是当我尝试使用 for 循环将其应用于多个页面时，我遇到了一个问题，因为并非所有页面都对表使用相同的 id。有些是“ks_sched_all”，有些是“ks_sched_（4 位数字）”。有什么方法可以提取页面上任何以“ks_sched_”开头的 id 表？

标签： rxpathweb-scrapingrvest

Answer 1

您可以添加table到您的 XPath 表达式和(). 代码可以是：

library(rvest)
URL <- "https://fbref.com/en/squads/822bd0ba/Liverpool"
WS <- read_html(URL)


results=list()
i=1

for (tables in 1:length(html_nodes(x = WS,xpath = "//table[starts-with(@id,'ks_sched_')]"))) {
path=paste0('(//table[starts-with(@id,"ks_sched_")])[',i,']')
results[[i]] <- WS %>% html_nodes(xpath = path) %>% html_table() %>% data.frame()
i=i+1
}

我们使用一个for循环，用 获取表的数量，length每次用 生成一个新的 XPathpaste0并将结果存储在一个list.

输出：7 个数据帧的列表