时间戳

首页 > 解决方案 > 从 Scrapy 日志中删除忽略响应消息

python - 从 Scrapy 日志中删除忽略响应消息

问题描述

我使用 python scrapy 并且网站有很多不正确的链接，导致 404 状态代码页面。Scrapy在日志中添加消息“忽略响应404” - 它非常填写日志，如何删除那种消息？

标签： pythonscrapy

解决方案

Scrapy 使用 python 的logging模块，所以你可以按照通常的方式来做——获取相关的记录器并改变它的记录级别。

该文档甚至在Logging - Advanced custom下显示了这个确切的示例：

import logging
import scrapy


class MySpider(scrapy.Spider):
    # ...
    def __init__(self, *args, **kwargs):
        logger = logging.getLogger('scrapy.spidermiddlewares.httperror')
        logger.setLevel(logging.WARNING)
        super().__init__(*args, **kwargs)

推荐阅读