python - Python请求库不检索内部元素“反应”类的标签

Question

我想从网站上抓取一些图像，特别是这个。

不幸的是，这些图像似乎在我无法到达的地方；如果您检查 element 和 search displate-tile--limited d__relative displate-tile--limited-upcoming，或专门检查其中一种产品的元素，您将看到我试图检索的图像；你还会看到所有这些都在一个

<div id="d_app" class="react limited-editions" style="min-height: 750px; position: relative; margin-top: 145px"></div> 

标签，这似乎阻止了我抓取这些图像的尝试。

requests.get()显然无法正确检索，因为这部分 html 仅作为检索

<div class="react" id="d_app" style="min-height: 750px; position: relative; margin-top: 145px"></div>

标签内没有任何内容；即没有图像。

我很茫然。为什么不requests.get()给你同样的东西检查元素呢？这个标签有什么特别之处？它是“反应”类吗？

标签： pythonhtmlweb-scrapingpython-requests

Answer 1

有可能是页面加载完后js加载了页面的一部分，所以requests不能访问。如果确实是这种情况，您将需要使用 selenium 或 requests-html （使用 selenium）之类的东西

查看此部分https://github.com/psf/requests-html#javascript-support