时间戳

首页 > 解决方案 > 包含 JSP/JS 的 Python Beautiful Soup 抓取页面

javascript - 包含 JSP/JS 的 Python Beautiful Soup 抓取页面

问题描述

我想从这个页面上刮价格：url = https://www.renodepot.com/en/steph-round-base-shower-kit-69375118

价格信息在跨度标签中给出，我无法抓取它。我为此使用的简单代码是

from requests import get
from bs4 import BeautifulSoup
response = get(url)
html_soup = BeautifulSoup(response.text, 'html.parser')
ProductPrice = html_soup.find('div',class_ = 'product_price_wrapper')

但这没有任何回报，我想

 BEGIN RenoProdDetailPriceSnippet.jsp

显示在价格 div 选项卡上方的信息会导致信息受到保护。

我什至尝试用硒来做，但没有成功。我尝试了许多其他组合来获得价格，但无法获得相同的价格。

所以，我正在寻找一些想法来解决这个问题。谢谢

标签： javascriptpythonjspweb-scrapingbeautifulsoup

解决方案

您无法抓取该页面，因为它需要完成 reCAPTCHA 才能访问。这是专门为阻止机器人而设计的。

如果您检查html_soup，您会发现您实际上是在搜索 reCAPTCHA 页面，而不是所需的产品页面。

推荐阅读