解析Python网络爬虫 核心技术Scrapy框架分布式爬虫 python爬虫框架官网

一、安装

1.安装Python

Python下载

Python最新源码，二进制文档，新闻资讯等可以在Python的官网查看到：
Python官网：https://www.python.org/
你可以在以下链接中下载 Python 的文档，你可以下载 HTML、PDF 和 PostScript 等格式的文档。
Python文档下载地址：https://www.python.org/doc/

2.安装twisted插件

在命令行（cmd）输入代码：

pip install twisted

3.安装scrapy

在命令行（cmd）输入代码：

pip install scrapy

4.测试

安装完成后，在命令行输入scrapy会出现详细信息，说明安装成功

二、scrapy原理

1.原理图

1）核心引擎

Scrapy Engine(引擎): （框架自带的）负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

2）组成模块

Scheduler(调度器):（框架自带的） 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：（框架自带的）负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
Spider（爬虫）：（程序员自己实现的）它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).
Item Pipeline(管道)：（程序员自己实现的）它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。

3）中间件

Downloader Middlewares（下载中间件）：（程序员选择是否实现）你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：（程序员选择是否实现）你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

2.用scrapy框架制作爬虫的步骤

1）新建项目 (scrapy startproject xxx)

新建一个新的爬虫项目

2）明确目标 （编写items.py）

明确你想要抓取的目标

3）制作爬虫 （spiders/xxspider.py）

制作爬虫开始爬取网页

4）存储内容 （pipelines.py）

设计管道存储爬取内容

5）如果有需要，可以添加对应的中间件。

---