python - Scrapy 输出文件为空白

Question

我创建了一个scrapy spider，但是当我运行命令时

scrapy crawl scrapytest -o output.json

它运行，但输出报告为空白。我知道 xpath 是正确的，所以我不太确定。对scrapy来说仍然很新。任何帮助表示赞赏

import scrapy

class TestspiderSpider(scrapy.Spider):

    name = 'testspider'
    allowed_domains = ['bing.com']
    start_urls = ['http://www.bing.com/']
    url = [
            'https://www.bing.com/search?q=sample+search&FORM=AWRE'
          ]
    def parse(self, response):
        response.xpath('//*[@class="b_algo"]/h2/a/text()').extract()
        yield scrapy.Request(url = url, callback = self.parse)

标签： pythonscrapy

Answer 1

您的代码没有产生任何数据。

您需要生成字典或 Scrapy 类的子类的实例，Item其中包含提取的数据，以便该数据到达输出文件。

请参阅Scrapy 教程中的相应部分。