r - 在网站内抓取表格 - 如何从元素中找到表格？

Question

想从这个网站上刮一张桌子 -

https://dr16.sdss.org/optical/spectrum/search?id=285009 [基于 https://labrtorian.com/2017/08/14/parse-an-online-table-into-an-r-数据框-westgards-生物变异数据库/

和

https://www.r-bloggers.com/2015/01/using-rvest-to-scrape-an-html-table/]。

所有数据都是数字。

使用了以下库 -

library(httr) library(rvest) library(xlsx)

astro <- session("https://dr16.sdss.org/optical/spectrum/search?id=285009") xpaths <- paste0("paste0('//*[@id="results"]/div[1]/div[2][', 1:1, ']")

spectable = data.frame(matrix(NA, 0, 10))

#循环遍历 1 个 html 表

for (j in 1:1){

subtable <- astro %>%

`read_html() %>%`
`html_nodes(xpath =  xpaths[j] ) %>%`
`html_table(., fill = TRUE)`

subtable <- subtable[[1]] spectable <- rbind(spectable, subtable) }

## Error in subtable[[1]] : subscript out of bounds

table.header <- c("Plate", "MJD" ,"FibreID", "specobj_id", "RA", "Dec", "z","zerr", "S/N", "class")

names(spectable) <- table.header

只有一张表，各个字段由用户填写某些字段来填充。例如说 Plate = 400。有一个选项可以设置表格上的行数 - 比如 10。

我无法弄清楚如何使用 xpaths 从网页中定义表格，元素没有清楚地显示表格。我能想到的最好的办法是

xpaths <- paste0("//*[@id="results"]/div[1]/div[2][", 1:1, "]")

返回错误

"unexpected symbol in ..."

第二个问题，大概与第一个有关，是定义行名。脚本使用这个

row.names(spectable) <- 1:nrow(spectable)

其中 nrow = 表中的行数。

返回的错误是

Error in .rowNamesDF<-(x, value = value) : invalid 'row.names' length

将不胜感激任何启示。谢谢你。

标签： rhtml-parsing