scrapy - 以href为CDN端点的scrapy下载图像

Question

我要下载的图片格式如下：

<a href="//cdn.xyz.com/download/file.jpg" title="JPG file" target="_blank" class="btn btn-default">Small</a>

问题是手动下载时我需要单击按钮，文件将照常下载。但是，如果您复制 href 并将其粘贴到浏览器，则文件不会下载，您会被重定向到主网站。

由于scrapy不能像selenium（单击按钮等）那样工作。它无法从href中的数据下载图像。

有没有人尝试下载这种在cdn中的图像？我猜它已经阻止服务主域之外的任何请求？

标签： scrapyscrapy-pipeline