同时运行多个爬虫查到的主要有两种方法。第一种是在项目内创建command文件夹，添加改写后的crawl.py文件，并在settings.py进行相关配置实现的，该方法相当于创建了一个自定义的指令，启动多个爬虫时，在cmd命令行中执行新创建的

使用scrapy.FromRequest()方法时，如果formdata设置为{}即没有post body，则会变为get请求，只有当不为空字典时才会变为POST请求，因此无post数据时，应该使用scrapy.Request(url,me

需求：简书网站整站爬虫。数据保存到mysql数据库中。将seleniume+chromedriver集成到scrapy爬取结果如下：安装Selenium和chromedriver：项目准备 开启一个有模板的scrapy项目，在这里有scra

Item是保存结构数据的地方，Scrapy可以将解析结果以字典形式返回，但是Python中字典缺少结构，在大型爬虫系统中很不方便。Item提供了类字典的API，并且可以很方便的声明字段，很多Scrapy组件可以利用Item的其他信息。定义I