python - 如何避免在 Scrapy 中跟随下载链接？
问题描述
在进行通用 Scrapy 站点爬行时，我需要避免下载任何可下载的文件。
问题是有时这些链接并不能“告诉”它们背后的内容，您最终可能会关注下载链接。
我怎样才能避免这种情况？（检测大小、mime 类型等）
解决方案
推荐阅读
- html - 如何在html输入中只允许罗马数字字符？
- angular - 出现控制台错误：没有当前规范时使用了“期望”，这可能是因为异步测试超时？
- javascript - Google PageSpeed Insights 显示未使用的 javascript 但已使用
- python - 关于 manim 和 png 图像的新手问题
- firebase - GAE3 Python 和验证 Firebase 令牌服务器端（我们是否需要每次都调用 Firebase？）
- kubernetes - Istio 1.6 中弃用了控制标头和路由
- postgresql - 插入数据库时如何忽略嵌入式结构字段？
- ios - 使用我的 url 方案作为链接从 gmail 打开应用程序
- .net-core - Azure Active Directory B2C 作为微服务
- c - C中的二维数组无效解引用定义错误