时间戳

首页 > 解决方案 > 获取启动请求时出错 - Scrapy

python - 获取启动请求时出错 - Scrapy

问题描述

运行 Scrapy 命令时出现错误。

2020-02-03 10:00:15 [scrapy.core.engine] 错误：获取启动请求时出错 Traceback（最近一次调用最后一次）：文件“/home/spawoz/.local/lib/python2.7/site- packages/scrapy/core/engine.py”，第 127 行，在 _next_request request = next(slot.start_requests) 文件“/var/www/html/gemeinde/gemeindeParser/gemeindeParser/spiders/oberwil_news.py”，第 43 行，在start_requests request.meta['proxy'] = 'http://' + proxy_data[0] + ':' + proxy_data[1] TypeError: 'NoneType' 对象没有属性 ' getitem' 2020-02-03 10:00:15 [scrapy.core.engine] 信息：关闭蜘蛛（已完成） 2020-02-03 10:00:15 [scrapy.statscollectors] 信息：转储 Scrapy 统计信息：{'elapsed_time_seconds' : 0.005745, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2020, 2, 3, 4, 30, 15, 304823), 'log_count/ERROR': 1, 'log_count/INFO': 10, 'memusage/max': 75816960, 'memusage/startup': 75816960, 'start_time': datetime.datetime(2020, 2, 3, 4, 30, 15, 299078)} 2020-02-03 10:00:15 [ scrapy.core.engine] 信息：蜘蛛关闭（完成）

我的代码是：

def start_requests(self):
    proxy_data = self.get_proxy();
    urls = [settings['TEST_NEWS_URL']]
    for url in urls:
        request =  scrapy.Request(url = url, callback = self.parse)
        request.meta['proxy'] = 'http://' + proxy_data[0] + ':' + proxy_data[1]
        proxy_user_pass = settings['PROXY_USERNAME'] + ':' + settings['PROXY_PASSWORD']
        encoded_user_pass = base64.encodestring(proxy_user_pass)
        request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
        yield request

请帮我解决这个问题。

标签： python

解决方案

推荐阅读