时间戳

首页 > 解决方案 > 从公共 Google 工作表中抓取数据 - 不同标签的相同 url

r - 从公共 Google 工作表中抓取数据 - 不同标签的相同 url

问题描述

我想从 Google 表格的公共网页中抓取数据。这是链接。

我对第 4 个选项卡“美国东部时间每天下午 4 点”中的数据特别感兴趣，但是该选项卡的 URL 与所有其他选项卡的 URL 相同（至少根据我尝试过的浏览器的地址栏 - Chrome 和 Firefox）。当我尝试使用 R 中的 rvest 包抓取数据时，我最终得到了第二个选项卡“States current”中的数据。

我右键单击检查第一个选项卡“README”，看看我是否可以弄清楚选项卡名称。看起来第 4 个选项卡的名称是 sheet-button-916628299。但是在我的浏览器中输入以 /pubhtml#gid=sheet-button-916628299 或 /pubhtml#gid=916628299 结尾的 URL 并没有将我带到第 4 个选项卡。

如何找到将我（以及更重要的是 R 中的 rvest 包）带到第 4 个选项卡中数据的 URL？

标签： rweb-scrapingrvest

解决方案

这相当简单：所有选项卡的数据已经加载到页面上，而不是由 xhr 请求加载。每个选项卡的内容只是被 css 隐藏或取消隐藏。

如果您在浏览器中使用开发人员窗格，您可以看到每个选项卡都在一个带有数字 id 的 div 中，该数字 id 由每个选项卡的 id 中的数字给出。

我们可以获取页面并制作正确的 css 选择器的数据框，以获取每个选项卡的内容，如下所示：

library(rvest)

url <- paste0("https://docs.google.com/spreadsheets/u/2/d/e/",
              "2PACX-1vRwAqp96T9sYYq2-i7Tj0pvTf6XVHjDSMIKBdZ",
              "HXiCGGdNC0ypEU9NbngS8mxea55JuCFuua1MUeOj5/pubhtml#")

page <- read_html(url)
tabs <- html_nodes(page, xpath = "//li")
tab_df <- data.frame(name = tabs %>% html_text, 
                     css = paste0("#", gsub("\\D", "", html_attr(tabs, "id"))),
                     stringsAsFactors = FALSE)
tab_df
#>                   name         css
#> 1               README #1600800428
#> 2       States current #1189059067
#> 3           US current  #294274214
#> 4 States daily 4 pm ET  #916628299
#> 5     US daily 4 pm ET  #964640830
#> 6               States #1983833656

所以现在我们可以像这样获取第四个选项卡的内容：

html_node(page, tab_df$css[4]) %>% html_nodes("table") %>% html_table()
#> [[1]]
#>                                                             
#> 1     1     Date State Positive Negative Pending Death Total
#> 2    NA                                                     
#> 3     2 20200314    AK        1      143                 144
#> 4     3 20200314    AL        6       22      46          74
#> 5     4 20200314    AR       12       65      26         103
#> 6     5 20200314    AZ       12      121      50     0   183
#> 7     6 20200314    CA      252      916             5 1,168
#> 8     7 20200314    CO      101      712             1   814
#> 9     8 20200314    CT       11      125                 136
#> 10    9 20200314    DC       10       49      10          69
#> 11   10 20200314    DE        6       36      32          74
#> 12   11 20200314    FL       77      478     221     3   776
#> 13   12 20200314    GA       66                      1    66
#> 14   13 20200314    HI        2                            2
#> 15   14 20200314    IA       17       83                 100
#> .... (535 rows in total)

推荐阅读