当前位置: 首页>前端>正文

解析Python网络爬虫 核心技术Scrapy框架分布式爬虫 python爬虫框架官网

一、安装

1.安装Python

Python下载

Python最新源码,二进制文档,新闻资讯等可以在Python的官网查看到:
Python官网:https://www.python.org/
你可以在以下链接中下载 Python 的文档,你可以下载 HTML、PDF 和 PostScript 等格式的文档。
Python文档下载地址:https://www.python.org/doc/

2.安装twisted插件

在命令行(cmd)输入代码:

pip install twisted

3.安装scrapy

在命令行(cmd)输入代码:

pip install scrapy

4.测试

安装完成后,在命令行输入scrapy会出现详细信息,说明安装成功

解析Python网络爬虫 核心技术Scrapy框架分布式爬虫 python爬虫框架官网,解析Python网络爬虫 核心技术Scrapy框架分布式爬虫 python爬虫框架官网_ide,第1张

二、scrapy原理

1.原理图

解析Python网络爬虫 核心技术Scrapy框架分布式爬虫 python爬虫框架官网,解析Python网络爬虫 核心技术Scrapy框架分布式爬虫 python爬虫框架官网_windows_02,第2张

1)核心引擎

Scrapy Engine(引擎): (框架自带的)负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。

2)组成模块

Scheduler(调度器):(框架自带的) 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
Downloader(下载器):(框架自带的)负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
Spider(爬虫):(程序员自己实现的)它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器).
Item Pipeline(管道):(程序员自己实现的)它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。

3)中间件

Downloader Middlewares(下载中间件):(程序员选择是否实现)你可以当作是一个可以自定义扩展下载功能的组件。
Spider Middlewares(Spider中间件):(程序员选择是否实现)你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)

2.用scrapy框架制作爬虫的步骤

1)新建项目 (scrapy startproject xxx)

新建一个新的爬虫项目

2)明确目标 (编写items.py)

明确你想要抓取的目标

3)制作爬虫 (spiders/xxspider.py)

制作爬虫开始爬取网页

4)存储内容 (pipelines.py)

设计管道存储爬取内容

5)如果有需要,可以添加对应的中间件。



https://www.xamrdz.com/web/2qy1964491.html

相关文章: