python - Scrapy HTTP 状态：404

Question

我正在使用 scrappy 抓取一个 URL，下面是蜘蛛的代码。问题是它显示 404 错误，而在 scrappy shell 上没有 404 错误。

在 settings.py 我添加了用户代理值USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"，并且ROBOTSTXT_OBEY = False

import scrapy

class UsaFloridaScrapperSpider(scrapy.Spider):

    name            = 'usa_florida_scrapper'
    start_urls      = ['https://www.txlottery.org/export/sites/lottery/Games/index.html/']
    

    def parse(self, response):
        print("HTTP STATUS: "+str(response.status))

标签： pythonscrapy