python - 使用scrapy爬行时如何更改深度限制?
问题描述
我想禁用蜘蛛中方法的深度检查和迭代,或者在爬行时更改深度限制。这是我的一些代码:
def start_requests(self):
if isinstance(self.vuln, context.GenericVulnerability):
yield Request(
self.vuln.base_url,
callback=self.determine_aliases,
meta=self._normal_meta,
)
else:
for url in self.vuln.entrypoint_urls:
yield Request(
url, callback=self.parse, meta=self._patch_find_meta
)
@inline_requests
def determine_aliases(self, response):
vulns = [self.vuln]
processed_vulns = set()
while vulns:
vuln = vulns.pop()
if vuln.vuln_id is not self.vuln.vuln_id:
response = yield Request(vuln.base_url)
processed_vulns.add(vuln.vuln_id)
aliases = context.create_vulns(*list(self.parse(response)))
for alias in aliases:
if alias.vuln_id in processed_vulns:
continue
if isinstance(alias, context.GenericVulnerability):
vulns.append(alias)
else:
logger.info("Alias discovered: %s", alias.vuln_id)
self.cves.add(alias)
yield from self._generate_requests_for_vulns()
def _generate_requests_for_vulns(self):
for vuln in self.cves:
for url in vuln.entrypoint_urls:
yield Request(
url, callback=self.parse, meta=self._patch_find_meta
)
我的程序是这样的,用户可以给出他们需要/想要的深度限制作为输入。在某些情况下,我的默认解析方法允许递归爬取链接。
determine_aliases 是一种预处理方法,_generate_requests_for_vulns 生成的请求是针对实际解决方案的。
如您所见,我从响应中抓取了我需要的数据,并将其存储在来自确定别名的蜘蛛类的集合属性“cves”中。完成后,我会从 _generate_requests_for_vulns 生成带有该数据的请求。
这里的问题是,要么产生来自确定别名的请求,要么调用确定别名作为回调迭代深度。因此,当我从 _generate_requests_for_vulns 发出请求以进行进一步爬网时,我的深度限制比预期的要快。
请注意,实际的爬取解决方案从 _generate_requests_for_vulns 生成的请求开始,因此给定的深度限制应仅适用于这些请求。
解决方案
我最终通过创建一个将深度重置为 0 的中间件解决了这个问题。我在请求中传递了一个元参数,其中“reset_depth”为 True,中间件根据该参数更改请求的深度参数。
class DepthResetMiddleware(object):
def process_spider_output(self, response, result, spider):
for r in result:
if not isinstance(r, Request):
yield r
continue
if (
"depth" in r.meta
and "reset_depth" in r.meta
and r.meta["reset_depth"]
):
r.meta["depth"] = 0
yield r
请求应该以某种方式从蜘蛛产生,如下所示:
yield Request(url, meta={"reset_depth": True})
然后将中间件添加到您的设置中。顺序很重要,因为这个中间件应该在 DepthMiddleware 之前执行。由于默认的 DepthMiddleware 顺序是 900,我在 CrawlerProcess 中将 DepthResetMiddleware 的顺序设置为 850,如下所示:
"SPIDER_MIDDLEWARES": {
"patchfinder.middlewares.DepthResetMiddleware": 850
}
不知道这是否是最好的解决方案,但它有效。另一种选择可能是扩展 DepthMiddleware 并在其中添加此功能。
推荐阅读
- definition - LibFuzzer 中的 PC 和 PC 表是什么
- reactjs - 没有为 ReactJS MonoRepo App 刷新 nx.dev 缓存
- npm - npm install 这个命令在 laravel 中不起作用
- wordpress - 将 Elementor 自定义查询过滤器与高级自定义字段一起使用
- .net - 如何定位特定的 .NET 核心版本
- dovecot - Dovecot-API 查询条件可能吗?
- ios - 即使获取 Firebase 注册令牌,firebase 云消息传递也不起作用
- wordpress - 在 Wordpress 中创建动态链接
- python - 无法在 Ubuntu 18.04 上使用 ninja-build
- arrays - 谁能帮我将对象列表作为参数传递给asp.net核心中的控制器重定向url?