scrapy - 在 pipelines.py 中从蜘蛛获取变量

Question

我需要存储中间数据。因此，在蜘蛛中，在解析方法中，我创建了存储它的变量。

text_from_pdf = pdf_to_text(response.body)

现在我需要在 pipeline.py 中访问这个变量我该怎么做？我试过这个

def open_spider(self, spider):
    self.file = open('items.txt', 'w')

def close_spider(self, spider):
    self.file.close()

def process_item(self, item, spider):
    if spider.text_from_pdf:
        line = json.dumps(**spider.text_from_pdf**) + "\n"
        self.file.write(line)
        return item

但是属性错误对我不起作用。

标签： scrapy

Answer 1

将数据添加到项目。

如果最终项目不应包含 id，您可以使用管道从项目中删除数据。