爬虫爬取妹子图片（入门篇）

python 爬虫如果不尝试一下爬取漂亮妹子的图片，那怎么能算得上真正的爬虫呢？
下面就一起来尝试一下吧。（绝对领域）
观看一下网站首页（是不是很刺激啊，动手吧）

这里介绍使用scrapy框架进行爬取全网的图片，如果想要使用requests模块进行爬取也是可以的，毕竟这个网站的爬取还是非常的简单。

1.建立一个新的项目，选择一个文件夹在给文件夹中新建一个项目，打开终端（win+R 输入cmd ），切换到该文件的路径下，输入命令。

scrapy startproject projectname         # 项目名称按照自己的想法定

# 例如：
scrapy startproject juedui

2.打开pycharm ，切换到当前项目路径下，如下所示（file—-open—-之后选择自己的项目路径）

3.打开setting文件，设置setting文件中的配置信息。（大部分信息都是处于注释状态，需要用到的信息就打开）
（设置头部，打开中间件，机器人协议……）
设置头部信息：

修改机器人协议（只用于学习，暂时不遵循）（把注释去掉）
同时设置输出信息的权限，使得输出的信息的权限不低于WARNING（警告）（这样子输出的内容就能够少去很多不必要信息）（自行添加）

设置中间的权重

4.书写爬虫处理文件，以及发起请求（juedui文件下的spider文件下的爬虫文件）
全部代码如下：

# -*- coding: utf-8 -*-
import scrapy,json,parsel,re,requests,os
from ..items import JueduiItem
from fake_useragent import UserAgent
ua = UserAgent()
header = {
"User-Agent":ua.random}
class JdSpider(scrapy.Spider):
name = 'jd'
allowed_domains = ['jdlingyu.mobi']
start_urls = ['https://www.jdlingyu.mobi']
# 主页面的分析，提取列表页面url
def parse(self, response):
url_lsit = response.xpath('//div[@class="grid-bor"]//div[@class="pos-r cart-list"]')
print(len(url_lsit))
for url in url_lsit:
item = JueduiItem()
item['pageTitle'] = url.xpath('.//h2[@class="entry-title"]/a/text()').extract_first()
item['pageUrl'] = url.xpath('.//h2[@class="entry-title"]/a/@href').extract_first()
yield scrapy.Request(
item['pageUrl'],
callback=self.page_parse,
meta={
"item":item}
)
page = response.xpath('//div[@id="primary-home"]/@data-pages').extract_first()
if page == None:                            # 获取该URL下的总页数
page = response.xpath('//page-nav').extract_first()
mold = re.findall('nav-type="(.*?)"',page)[0]
page = re.findall('pages="(.*?)"',page)[0]
print("page:",page,"type:",mold)
for i in range(2,3):              # 逐个发起请求 int(page)+1
yield scrapy.FormRequest(
"https://www.jdlingyu.mobi/wp-admin/admin-ajax.php?action=zrz_load_more_posts",
formdata={
"type":mold,"paged":str(i)},
callback=self.page_parse1,
)
# 对使用post请求发送得到的页面进行同样的分析
def page_parse1(self,response):
res = json.loads(response.body.decode())
img = res['msg']
html = parsel.Selector(img)
url_lsit = html.xpath('//h2')
for url in url_lsit:
item = JueduiItem()
item['pageTitle'] = url.xpath('.//a/text()').extract_first()
item['pageUrl'] = url.xpath('.//a/@href').extract_first()
yield scrapy.Request(
item['pageUrl'],
callback=self.page_parse,
meta={
'item':item}
)
# 提取文章中的图片URL，以及下载图片
def page_parse(self,response):
item = response.meta['item']
item['imgUrl'] = response.xpath('//div[@id="content-innerText"]//img/@src').extract()
print(item['pageTitle'])
# print(item['imgUrl']) # 图片URL
for url in item['imgUrl']:
res = requests.get(url,headers=header)
# 把图片保存到本地硬盘中，文件路径按照自己电脑来写
if not os.path.exists(r"F:\相片\绝对领域/"+item['pageTitle']):   # 这个地址自己设置自己的本地地址
os.makedirs(r"F:\相片\绝对领域/"+item['pageTitle'])
with open(r"F:\相片\绝对领域/"+item['pageTitle']+'/'+url.split('/')[-1],"wb") as fp:
fp.write(res.content)

这样子就把所有的图片保存到了硬盘文件中了。