首页 > 技术文章 > scrapy 抓取数据被禁止的解决方法
shaosks 2017-06-07 10:32 原文
在用抓取头条新闻的数据时出现以下问题:禁止抓取,结果数据没有出来
后来经过查询得知需要把settings.py里面 修改为ROBOTSTXT_OBEY = False就可以了, 默认True