python - CrawlSpider 不工作
问题描述
我是scrapy的新手,我在处理这段代码时遇到了问题,它没有通过链接解析。
import sys
sys.path.append(r'C:\Users\User\Miniconda3\Lib\site-packages')
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class MySpider(CrawlSpider):
name = 'poder360.com'
allowed_domais = ['poder360.com.br']
start_urls = ['https://www.poder360.com.br']
rules = (Rule(LinkExtractor(allow_domains=['poder360.com.br']),
callback='parse_item', follow=True))
def parse_item(self, response):
self.logger.info('Hi, this is an item page! %s', response.url)
item = scrapy.Item()
item['title'] = response.xpath('//title/text()').extract()
print(item['title'])
return item
解决方案
推荐阅读
- performance - 如何提高嵌套循环的性能,其中 2 个表在 abap 中有大量条目?
- javascript - 在 React JS 中使用 formdata 发送对象数组时在后端获取数据为 null
- amazon-web-services - aws_ecs_cluster 本地执行 aws 未找到
- c# - SendArticleAsync 抛出错误“错误请求:BUTTON_URL_INVALID”
- woocommerce - Woocommerce 和 clicky 集成
- r - 如何在 ggplot2 中重新创建此图?
- photoshop - 减法混合模式
- javascript - 开发服务器返回响应错误代码:500 react-native 为什么这个错误谁能告诉我
- apache-spark - 如何使用火花数据框在pyspark中构建以下json结构
- cypress - 赛普拉斯是 API 自动化测试的好选择,而不是放心/空手道吗?