首页 > 解决方案 > 可以向下滚动以加载更多页面的网络爬虫?

问题描述

我正在学习一些关于网络爬虫的知识,并想制作一个可以在 Steam 上寻找优惠的网络爬虫。Steam 有自己的页面,其中包含所有优惠,所以我可以抓取它以获得最佳优惠,但它只加载特定数量,你必须进一步向下滚动才能加载更多,然后你甚至必须滚动一次又一次地往下走。网络爬虫如何获得这些仅在您向下滚动时才加载的优惠?

标签: pythonweb-scraping

解决方案


推荐阅读