春天到了，春光明媚，鸟语花香，各地都回温了！公园里面的花都开了，这几天都没有心情工作，准备周末出去游山玩水，踏踏青！先用Python爬取一波妹子图，摸摸鱼吧。
导入模块
首先把用到的模块贴进来。
import requests
from bs4 import Beautiful Soup
import time
import random
抓取
煎蛋网的抓取流程：从第 101 页开始抓取，提取页面上的女装图片 url，请求 url 后保存图片，点击下一页，重复循环...。
当访问煎蛋网的http://jandan.net/girl页面的时候，它是显示的最后一页。通过上面的分页控件获取下一页的 url。
headers?=?{
'User-Agent':'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/97.0.4692.99?Safari/537.36'
}
defget_html(url):
resp?=?requests.get(url?=?url,?headers?=?headers)
soup?=?BeautifulSoup(resp.text)
returnsoup
defget_next_page(soup):
next_page?=?soup.find(class_='previous-comment-page')
next_page_href?=?next_page.get('href')
returnf'http:{next_page_href}'
可以看到每个图片上都有[查看原图]的超链接，提取这个 href 就是可以下载图片了。
defget_img_url(soup):
a_list?=?soup.find_all(class_?='view_img_link')
urls?=?[]
foraina_list:
href?='http:'+?a.get('href')
urls.append(href)
returnurls
保存图片就更简单了，request 请求后直接写入文件。
defsave_image(urls):
foriteminurls:
name?=?item.split('/')[-1]
resp?=?requests.get(url=item,?headers?=?headers)
withopen('D:/xxoo/'+?name,'wb')asf:
f.write(resp.content)
time.sleep(random.randint(2,5))
最后来看一下抓取结果吧。
总结
这篇 request 爬虫适合刚入 python 和没学过 soup 模块的小伙伴。有兴趣的小伙伴，可以动手敲一下代码。看百遍，读千边，不如动手敲一边。学习Python一定要动手操作，实战才行。