时间戳

首页 > 解决方案 > 拒绝访问请求 URL 时抓取无限滚动页面

scrapy - 拒绝访问请求 URL 时抓取无限滚动页面

问题描述

以下零售商产品页面有一个无限滚动，它从我无法访问的 URL 请求数据：

https://www.aldoshoes.com/uk/en_UK/men/holiday-party-style

单击“查看全部”后，开发人员工具会显示一个 URL，该 URL 无法显示任何产品数据并给出“不支持的品牌”错误：

https://www.aldoshoes.com/api/products/category/72050?currentPage=1&filters=&lang=en_UK&maxFilters=6&pageSize=17®ion=uk&sort=relevance

我想知道是否可以通过 Scrapy 访问所有产品数据而无需 Selenium。

谢谢你。

标签： scrapy

解决方案

如果您查看使用浏览器开发工具单击“查看全部”时发出的 HTTP 请求，您会注意到请求标头包含一些特定于应用程序的标头：

x-aldo-region: uk
x-aldo-lang: en_UK
x-aldo-brand: aldoshoes
x-forwarded-akamai-edgescape: undefined
x-aldo-ssr-request-id: 
x-aldo-api-version: 2

尝试在您的请求中包含这些标头。

推荐阅读