时间戳

首页 > 解决方案 > 如何从 R 中的 Indeed 工作网站上抓取公司评级

html - 如何从 R 中的 Indeed 工作网站上抓取公司评级

问题描述

我从未使用过 HTML 或 CSS，但我知道 R，因此我在网上查看了几种抓取方法，并在 Stack 中查看了在 R 中执行此操作的方法。我一直在从工作列表页面中提取公司评级时遇到问题。我得到character(0)了公司4.0评级的示例网址。

这是我的尝试：

library(rvest)
library(tidyverse)
library(xml2)

#example URL
url<- "https://www.indeed.com/viewjob?jk=a25a91736b1f7042&tk=1e3q54n49heai800&from=serp&vjs=3&advn=8876452989351355&adid=95236293&sjdu=TDSJNe66qIM3gcXFOG94m--bPylNW2vvO3WAHEKN7JhCAD1FQ-2FXD1gQyElsLNkg6gfXO2CD3rQYOYjO9iXITyFdYOp8tCECkHuDmf3Og8qdMmciGFIv2ahigETjLmuY8uXdLjnQTg4__yOXqHJkA"

page<- read_html(url)


page%>%
   rvest::html_nodes("span")  %>%
   rvest::html_nodes(xpath = '//*[contains(concat( " ", @class, " " ), concat( " ", "ratingsContent", " " ))]')%>%
   rvest::html_text()

#Output is 
#character(0)
#Where as it should have been 4.0!

谁能告诉我如何获得它，如果公司缺少评级，我该如何退货NA？谢谢！

标签： htmlcssrweb-scrapingrvest

解决方案

你似乎有错误的xpath。通过查看源文档，您要查找的值包含在具有content属性的meta标签的itemprop属性中"ratingValue"。

以下是使用您问题的 url 的可重复工作示例：

read_html(url) %>%
  html_nodes(xpath = "//meta[contains(@itemprop, 'ratingValue')]") %>%
  html_attr("content") %>%
  unique()
#> [1] "4.0"

推荐阅读