python - scrapy 发送电子邮件并附加带有抓取项目的 csv 文件

Question

我有几个蜘蛛在工作，它们将一些抓取的数据保存到一个 csv 文件中。我还编写了一个电子邮件功能，一旦蜘蛛完成爬行，它将发送电子邮件通知。但是，当我尝试附加 csv 输出文件时，似乎直到 python 脚本退出后文件才更新。有没有办法解决？即，我想将更新后的 csv 文件与抓取的项目附加在一起。

请参阅下面的示例代码。我的电子邮件功能在 process.start 之后被调用

process = CrawlerProcess(get_project_settings())
process.crawl(Nqbp_Spider)
process.crawl(Gladstone_Spider)
process.start()
send_email() # this is my custom email function

标签： pythonscrapy

Answer 1

在管道函数中编写邮件脚本就可以了。参考这个链接