爬取表情包
闲来无事，突然想到表情包好久没有更新了，正好这几天学了爬虫，利用爬虫来更新一波表情包，哈哈哈。
有一个网站，叫做“斗图啦”，网址是：https://www.doutula.com/。这里面包含了许许多多的有意思的斗图图片，还蛮好玩的。这里我分析了两种方式获取斗图啦的表情包：
1.利用 Scrapy 框架爬取斗图啦最新套图
2.通过斗图啦网站提供的 API 接口，获取 json 获取图片(异步IO)
说明：本爬虫纯粹是个人娱乐，如果他人使用该爬虫对网站服务器造成不良影响与本人无关。
Scrapy框架爬取套图
页面分析
页面分析是为了找到这些图片或者 URL 之间的规律，通过这些规律我们在写爬虫去获取相应的内容，如图：
页面分析
通过上图，我们可以发现 “ http://www.doutula.com/article/list/?page=2 ” 中 page 参数表示当前是第几页。套图详情是在 “ http://www.doutula.com/article/detail/xxxxx ” 这个地址下面的，其中 xxxxx 是一个类似套图id的一串数字(因为后面我们是用正则来匹配这串数字，所以具体是多少不重要啦~)。我们要找的表情包就在详情页面下，接着分析详情页面，如图：
套图详情分析图
由此我们可以发现套图里面的表情包是放在详情页面下有 “class=pic-content” 的 div 标签下的一组 class 属性为 artile_des 的 div 标签里面的，只是它嵌套的比较深是在每个 div 标签下的table>tbody>tr>td>a下。
编写Spider
框架结构：
爬虫目录结构
爬虫--bqbspider.py:
# -*- coding: utf-8 -*-
import scrapy
from scrapy.spider import CrawlSpider, Rule
from scrapy.linkextractor import LinkExtractor
from bqb.items import BqbItem
class BqbspiderSpider(CrawlSpider):
name = 'bqbspider'
allowed_domains = ['www.doutula.com']
start_urls = ['http://www.doutula.com/article/list/']
rules = (
Rule(LinkExtractor(allow=(r'http://www.doutula.com/article/list/\?page=\d+'))),
Rule(LinkExtractor(allow=(r'http://www.doutula.com/article/detail/\d+')), callback='get_image_parse'),
)
def get_image_parse(self, response):
item = BqbItem()
item['title'] = response.xpath('//div[@class="pic-title"]/h1/a/text()').extract_first()
item['data'] = {}
pic_list = response.xpath('//div[@class="pic-content"]//div[@class="artile_des"]')
for pic in pic_list:
pic_url = pic.xpath('./table/tbody/tr[1]/td/a/img/@src').extract_first()
pic_name = pic.xpath('./table/tbody/tr[1]/td/a/img/@alt').extract_first()
item['data'][pic_name] = pic_url
return item注意：Rule 中定义的规则，会从当前 url 请求的 response 中去进行匹配，如果当前规则匹配成功，并且指定了 callback 回调函数，那么就会请求该 url 并执行回调函数， 如果没有指定回调函数，则表示爬虫继续跟进匹配到的 url。
items.py 文件中定义爬虫返回的字段:
import scrapy
class BqbItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
data = scrapy.Field()
pipelines.py文件中定义了对爬虫爬取到的内容进行的处理操作：
import os
import requests
class BqbPipeline(object):
def process_item(self, item, spider):
dir_name = dict(item)['title']
if not os.path.exists("E:\images\" + dir_name):
os.mkdir("E:\images\" + dir_name)
data = dict(item)['data']
for pic in data:
pic_url = data[pic]
print(pic_url.rfind('/'))
name = pic_url[pic_url.rfind('/') + 1:]
filename = "E:\images\" + dir_name + "\" + name
try:
with open(filename, 'wb') as f:
f.write(requests.get(data[pic]).content)
except IOError as e:
print(e)
print(name, '下载完成！')这里爬虫的主要代码就没有了，剩下的就是根据自己的需要配置settings.py文件了，建议设置cookie，和缓存，并配置适当的请求数和延迟。
部分爬取效果截图：
爬取结果图一
REST接口获取图片
REST接口就简单多了，这是网址提供的请求接口，这就只需要我们构造一个url请求，获取到服务器返回的 json 即可。在返回的 json 中就有表情包的下载链接，直接下载就可以了。啥都不说了，直接上代码：
import re
import requests
import asyncio
# 批量生成 url 请求参数列表
def create_json(key, mine=0):
params = []
for i in range(1, 51):
data = {
'type': 'photo',
'more': 1,
'keyword': key,
'page': i,
'mime': mine,
}
params.append(data)
return params
# 下载并保持图片
@asyncio.coroutine
def save_pic(url):
if re.search(r'^/[a-z].*', url):
url = 'https://www.doutula.com' + url
if url.startswith('//'):
url = 'https:' + url
if re.search(r'jpg|gif|png', url):
b_img = requests.get(url, headers=headers).content
filename = './images/' + url[url.rfind('/') + 1:]
try:
with open(filename, 'wb') as f:
f.write(b_img)
except IOError as e:
print(e)
finally:
pass
# 获取图片url列表
@asyncio.coroutine
def download_img(param):
url = 'https://www.doutula.com/api/search'
img_list = requests.get(url, params=param, headers=headers).json()['data']['list']
while len(img_list) > 0:
img = img_list.pop()
yield from save_pic(img['image_url'])
print('%s下载完成' % img['out_id'])
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' \
' (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'
}
def main():
loop = asyncio.get_event_loop()
params = create_json('蘑菇头')
tasks = [download_img(param) for param in params]
loop.run_until_complete(asyncio.wait(tasks))
print('Complete!')
if __name__ == '__main__':
main()获取结果图：
REST效果图