python - 如何打印刮痕深度

Question

所以我正在浏览一个网站，并正在寻找该网站中的特定链接。如果我从主页开始，我想看看蜘蛛在找到链接之前离原始页面有多远

linksonpage = response.css('a::attr(href)').getall()

        for i in linksonpage:
            link = response.urljoin(i)

            if link == goallink:
                print('found the goal link')

            elif:
                yield scrapy.Request(link)

Linkdepth 当前设置为 10 作为设置，但如果它在 10 之前找到链接，我想知道它必须走多远才能到达那里。

是否有像scrapy固有的“链接深度”变量之类的东西，我可以调用它在过程中的位置还是我必须做一个计数器？

标签： pythonscrapy

Answer 1

我很愚蠢。这只是 response.meta['depth']

所以你可以将它设置为一个变量。