首页 > 解决方案 > 使用 R, rvest, html_session() %>% html_form() 找不到表单 - 需要先单击登录按钮

问题描述

rvest在转向 Selenium 或其他方法之前,我们正在尝试找到解决方案。我们正在尝试从 Action Network 网站 - https://www.actionnetwork.com/mlb/public-betting抓取,需要先登录。我们有以下内容:

page_url <- "https://www.actionnetwork.com"
page_session <- html_session(page_url)
page_form <- page_session %>% html_form()
filled_form <- page_form %>% set_values(email="*****", password="*****")
page_session %>% submit_form(filled_form)

并且页面表单在运行时当前是一个空列表,这就是问题所在。我认为这是因为登录表单默认情况下不会出现在此页面上。用户需要首先单击登录才能显示表单。有没有办法得到这个表格,所以我们可以set_values()然后submit_form()

标签: rsessionweb-scrapingrvest

解决方案


推荐阅读