python - Scrapy停止重定向并获取当前url的html内容
问题描述
我希望我的爬虫停止重定向并再次尝试相同的 URL。我怎样才能做到这一点？
我试过了meta={'dont_redirect': True}。但它忽略了对当前 URL 的请求。我想要当前 URL 的 HTML 内容。
解决方案
推荐阅读
- r - 如何以编程方式从具有某种名称模式的向量制作数据框
- excel - 如何将两个函数连接成一个函数？
- sql - ObjectionJS：在两个子字段上的 HasMany 关系
- postgresql - 如何提高大型表上基于日期的查询性能？
- php - 更新查询在 php 和 phpmyadmin 中不起作用
- bootstrap-4 - Bootstrap4 中的“警报”是否阻塞？如果没有，有没有办法这样做？
- python - 仅将匹配的列附加到数据框
- java - 类型检查和方法查找
- javascript - dataTables 表单无法在 Internet Explorer 中正确提交
- javascript - React setState async 导致下拉的延迟