当前位置: 首页>后端>正文

scrapy爬虫工具界面化管理

一、安装scrapyd服务

? ? 1、安装scrapyd

? ? ? ? $ pip install scrapyd

? ? 2、安装scrapyd-client

? ? ? ? $ pip install scrapyd-client

? ? 3、启动测试安装

? ? ? ? $ scrapyd

? ? 4、打开浏览器,页面预览

? ? ? ? http://127.0.0.1:6800

二、安装界面工具

? ? 1、安装spidermanager

? ? ? ? pip install spidermanager

? ? 2、服务配置(要保证server配置的地址可正常访问)

? ? ? ? spidermanager --server=http://localhost:6800

? ? 3、配置完成,打开浏览器,页面预览

? ? ? ? http://localhost:5000

三、spider部署配置

? ? 1、生成部署文件(切换到scrapy.cfg文件同级目录执行)

? ? ? ? a. 查看配置

? ? ? ? ? ? scrapyd-deploy -l

? ? ? ? b. 配置scrapy.cfg,打开url

? ? ? ? ? ? [deploy]

? ? ? ? ? ? ? ? url = http://localhost:6800/

? ? ? ? c. 生成output.egg

? ? ? ? ? ? $ scrapyd-deploy --build-egg output.egg

? ? 2、页面上传部署

? ? ? ? http://localhost:5000/project/1/spider/deploy

? ? 3、添加定时任务

? ? ? ? http://localhost:5000/project/1/job/periodic

? ? ? ? 点击addjob,弹框中spider选框即是打包部署的spider

四、说明

? ? scrapyd:用于支持SpiderManager管理的底层服务,自带简易管理界面

? ? SpiderManager:对scrapyd 界面管理的升级本身依赖于scrapyd

五、参考地址

? SpiderManager:https://github.com/koneb71/SpiderManager

? scrapyd博文:https://www.jianshu.com/p/f815f91949f2

? scrapyd官网:https://scrapyd.readthedocs.io/

六、页面效果图

scrapy爬虫工具界面化管理,第1张
scrapy爬虫工具界面化管理,第2张

https://www.xamrdz.com/backend/3qr1994783.html

相关文章: