首页 > 解决方案 > 网页抓取、选择器小工具和 rvest 的问题

问题描述

我对网络抓取相当陌生,目前正在努力处理下一页的表格:

https://www.ggesports.com/en-us/stats/lol/global/Team

我测试了从表格外的网站抓取文本,这没有问题,但是当我尝试抓取表格的一列时,它只返回输出“字符(0)”。

我使用选择器小工具来识别特定的 CSS 选择器。之后我到目前为止尝试过:

library(rvest)
library(dplyr)

url <- "https://www.ggesports.com/en-us/stats/lol/global/Team"
Stats <- read_html(url)


Name <- hot100 %>% 
  rvest::html_nodes('body') %>% 
  xml2::xml_find_all("//span[contains(@class, 'team-name')]") %>% 
  rvest::html_text()
Name

# and

Name_html <- html_nodes(Stats,'.team-name')
Name <- html_text(Name_html)
Name

我将不胜感激任何帮助。提前感谢任何人!

标签: rweb-scrapingrvest

解决方案


数据是从您可以在网络选项卡中找到的另一个端点动态提取的。向该端点发出请求:

library(jsonlite)

data <- jsonlite::read_json('https://www.ggesports.com/en-us/stats/lol/global/Team/GetRankingList?season=-1&name=&regionId=50', simplifyVector = T)

推荐阅读