时间戳

首页 > 解决方案 > 如何将两只蜘蛛合二为一？

python - 如何将两只蜘蛛合二为一？

问题描述

有两个蜘蛛使用相同的资源文件和几乎相同的结构。

spiderA 包含：

import scrapy
import pkgutil

class StockSpider(scrapy.Spider):
    name = "spiderA"
    data = pkgutil.get_data("tutorial", "resources/webs.txt")
    data = data.decode()
    urls = data.split("\r\n")
    start_urls = [url + "string1"  for url in urls]

    def parse(self, response):
        pass

spiderB 包含：

import scrapy
import pkgutil

class StockSpider(scrapy.Spider):
    name = "spiderB"
    data = pkgutil.get_data("tutorial", "resources/webs.txt")
    data = data.decode()
    urls = data.split("\r\n")
    start_urls = [url + "string2"  for url in urls]

    def parse(self, response):
        pass

如何结合 spiderA 和 spiderB，并添加一个 switch 变量以crapy scral根据我的需要调用不同的蜘蛛？

标签： pythonscrapy

解决方案

尝试为蜘蛛类型添加单独的参数。您可以通过调用来设置它scrapy crawl myspider -a spider_type=second。检查此代码示例：

import scrapy
import pkgutil

class StockSpider(scrapy.Spider):
    name = "myspider"

    def start_requests(self):
        if not hasattr(self, 'spider_type'):
            self.logger.error('No spider_type specified')
            return
        data = pkgutil.get_data("tutorial", "resources/webs.txt")
        data = data.decode()

        for url in data.split("\r\n"):
            if self.spider_type == 'first':
                url += 'first'
            if self.spider_type == 'second':
                url += 'second'
            yield scrapy.Request(url)

    def parse(self, response):
        pass

而且您也可以始终创建基主类，然后从它继承，只重载一个变量（您添加到 url）和名称（用于单独的调用）。

推荐阅读