python - Python/ Beautiful Soup 数据显示问题

Question

我正在尝试从网站中提取一些数据。一旦我检查了我用 beuatifulsoup 提取的数据（在下面的代码中使用 print(soup) ）似乎不太好。这与我使用view-source:URL检查时不同。我无法找到我正在寻找的字段。你能帮我找到解决办法吗？

网站：https ://www.wayfair.com/furniture/pdp/mercury-row-stalvey-contemporary-4725-wide-1-drawer-server-w003245064.html

基本上，我想知道这个产品的价格。我在其他网站上使用了相同的代码结构，它可以正常工作，但不能在 Wayfair 上工作。

我找不到解决方案的第二件事是我的代码的最后一行（StyledBox-owpd5f-0 PriceV2__StyledPrice-sc-7ia31j-0 lkFBUo pl-Price-V2 pl-Price-V2--5000）。除了产品名称，有没有办法只获得 389.99 美元这样的价格？

提前致谢！

这是我的代码：

html = requests.get('https://www.wayfair.com/furniture/pdp/mercury-row-stalvey-contemporary-4725-wide-1-drawer-server-w003245064.html')
soup=BeautifulSoup(html.text,"html.parser")
print(soup)
inps=soup.find("div",class_="SFPrice").find_all("input")
for inp in inps:
    print(inp.get("StyledBox-owpd5f-0 PriceV2__StyledPrice-sc-7ia31j-0 lkFBUo pl-Price-V2 pl-Price-V2--5000"))

标签： pythonbeautifulsoupdata-scrubbing

Answer 1

您的站点示例是客户端呈现的页面，并且提取的原始 html 数据不包括搜索的元素（例如具有“SFPrice”类的 div）。

查看这个问题，了解如何使用 beautifulsoup 结合selenium和phantomJS、dryscrape 或其他选项来抓取 javascript 渲染的页面。

或者您也可以查看本指南。