python-3.x - 在scrapy的启动请求中调用http://url

Question

我正在使用scrapy从网站上抓取数据

def start_requests(self):
    request = scrapy.Request(url="http://www.xxxxx.com",callback=self.parse ,dont_filter = True,)
    yield request

从 start_requests 请求 url 时出现错误

raise SchemeNotSupported("Unsupported scheme: %r" % (uri.scheme,))
twisted.web.error.SchemeNotSupported: Unsupported scheme: b''
2018-06-11 13:02:26 [scrapy.core.engine] INFO: Closing spider (finished)
2018-06-11 13:02:26 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

但是当使用安全线路即（“ https://www.xxxxx.com ”）调用相同的请求时，它正在工作，任何人都可以帮忙

标签： python-3.xseleniumrequestscrapy

Answer 1

我有同样的问题，对我来说问题是协议。

我要求使用httpwhile 那应该是https

当我改变它时，它开始起作用了。