r - 使用 R 进行 HTML 抓取 - 抓取特定节点时出错

Question

我正在尝试从网页上抓取职位描述 - https://www.indeed.com/cmp/HP/jobs

我也是使用 HTML 和 CSS 选择器进行抓取的新手，所以如果我做了一些愚蠢的事情，我深表歉意。

我有以下代码

test_url <- read_html("https://www.indeed.com/cmp/HP/jobs")
  job_description <- test_url %>% 
    html_nodes(".cmp-JobDetailDescription") %>%
    html_text()

我使用 CSS 选择器来查找节点，但由于某种原因我无法获得职位描述。

我必须在代码中进行哪些更改才能提取该 url 中的所有职位描述？

先感谢您

标签： rweb-scrapingdata-science