scrapy基本使用

1. 安装

pip install scrapy

2. 使用

创建项目

scrapy startproject 你的项目名

创建成功后会显示创建的位置,可以用pycharm打开

打开终端,切换到项目所在目录

执行: scrapy genspider 爬虫名称 "爬虫域"

运行

scrapy crawl 项目名

控制日志等级输出

打开settings文件

添加

LOG_LEVEL="WARNING"