一、安装scrapyd服务
? ? 1、安装scrapyd
? ? ? ? $ pip install scrapyd
? ? 2、安装scrapyd-client
? ? ? ? $ pip install scrapyd-client
? ? 3、启动测试安装
? ? ? ? $ scrapyd
? ? 4、打开浏览器,页面预览
? ? ? ? http://127.0.0.1:6800
二、安装界面工具
? ? 1、安装spidermanager
? ? ? ? pip install spidermanager
? ? 2、服务配置(要保证server配置的地址可正常访问)
? ? ? ? spidermanager --server=http://localhost:6800
? ? 3、配置完成,打开浏览器,页面预览
? ? ? ? http://localhost:5000
三、spider部署配置
? ? 1、生成部署文件(切换到scrapy.cfg文件同级目录执行)
? ? ? ? a. 查看配置
? ? ? ? ? ? scrapyd-deploy -l
? ? ? ? b. 配置scrapy.cfg,打开url
? ? ? ? ? ? [deploy]
? ? ? ? ? ? ? ? url = http://localhost:6800/
? ? ? ? c. 生成output.egg
? ? ? ? ? ? $ scrapyd-deploy --build-egg output.egg
? ? 2、页面上传部署
? ? ? ? http://localhost:5000/project/1/spider/deploy
? ? 3、添加定时任务
? ? ? ? http://localhost:5000/project/1/job/periodic
? ? ? ? 点击addjob,弹框中spider选框即是打包部署的spider
四、说明
? ? scrapyd:用于支持SpiderManager管理的底层服务,自带简易管理界面
? ? SpiderManager:对scrapyd 界面管理的升级本身依赖于scrapyd
五、参考地址
? SpiderManager:https://github.com/koneb71/SpiderManager
? scrapyd博文:https://www.jianshu.com/p/f815f91949f2
? scrapyd官网:https://scrapyd.readthedocs.io/
六、页面效果图