web-scraping - 如何从连续滚动的网站加载信息以使用 beautifulsoup 进行抓取？

Question

我需要从https://www.nike.com/gb/w/mens-running-shoes-37v7jznik1zy7ok收集耐克鞋的所有数据 当我尝试从 beautifulsoup 中抓取时，我只得到前 24 个产品的信息。解决此问题的任何帮助将不胜感激。

page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
print(soup.prettify())
div_tags1 = soup.findAll("div", class_="product-grid css-195fkdt")
len(div_tags)

标签： web-scrapingbeautifulsoupinfinite-scroll