scrapy爬虫,爬取图片

scrapy爬虫,爬取图片

一、scrapy的安装:

本文基于Anacoda3,

Anacoda2和3如何同时安装?

将Anacoda3安装在C:\ProgramData\Anaconda2\envs文件夹中即可。

如何用conda安装scrapy?

安装了Anaconda2和3后,

 <span>scrapy爬虫,爬取图片</span>

 

如图,只有一个命令框,可以看到打开的时候:

 <span>scrapy爬虫,爬取图片</span>

 

可以切到Anaconda3对应的路径下即可。

安装的方法:cmd中:conda install scrapy即可。

当然,可能会出现权限的问题,那是因为安装的文件夹禁止了读写。可以如图:

<span>scrapy爬虫,爬取图片</span>

将权限都设为“允许“。

注意:此时虽然scapy安装上了,但是在cmd中输入scapy可能会不认,可以将安装scrapy.exe的路径添加到环境变量中。

 

二、scapy的简单使用

例子:爬取图片

1、 创建scrapy工程

譬如,想要创建工程名:testImage

输入:scrapy startproject testImage

即可创建该工程,按照cmd中提示的依次输入:

cd testImage

scrapy genspider getPhoto www.27270.com/word/dongwushijie/2013/4850.html

其中:在当前项目中创建spider,这仅仅是创建spider的一种快捷方法,该方法可以使用提前定义好的模板来生成spider,后面的网址是一个采集网址的集合,即为允许访问域名的一个判断。注意不要加http/https。

 

至此,可以在testImage\testImage\spiders中找到创建好的爬虫getPhoto.py,可以在此基础上进行修改。

2、创建爬虫

<span>scrapy爬虫,爬取图片</span>

如图,可以在图片的位置右键,检查,查看源码,在图片所在的位置处,将xpath拷贝出来。

此时,可以找出图片的地址:

class GetphotoSpider(scrapy.Spider):
    name = 'getPhoto'
    allowed_domains = ['www.27270.com']
    start_urls = ['http://www.27270.com/word/dongwushijie/2013/4850.html']
    def parse(self, response):
        urlImage = response.xpath('//*[@id="picBody"]/p/a[1]/img/@src').extract()
        print(urlImage)
        pass

  

此时,注意网络路径的正确书写,最后没有/,

http://www.27270.com/word/dongwushijie/2013/4850.html/   

此时将4850.html 当作了目录,会出现404找不到路径的错误!

3、 下载图片

items.py:

class PhotoItem(scrapy.Item):
    name = scrapy.Field()
    imageLink = scrapy.Field()

pipelines.py:

from scrapy.pipelines.images import ImagesPipeline
import scrapy
class ImagePipeline(ImagesPipeline):
    def get_media_requests(self,item,info):
        image_link = item['imageLink']
        yield scrapy.Request(image_link)

  

settings.py:

IMAGES_STORE = r”C:\Users\24630\Desktop\test”

另外,对于上面的网址,还需要ROBOTSTXT_OBEY = False

并且,访问该网址会出现302错误,这是一个重定向的问题,

MEDIA_ALLOW_REDIRECTS =True

设置该选项,就可以正确下载,但是下载的还是不对,问题不好解决。

当然在爬虫中,还要对items赋值:

from testImage import items
。。。

for urllink in urlImage:
      item = items.PhotoItem()
      item['imageLink'] = urllink

  

三、 进一步爬取(读取下一页)

# -*- coding: utf-8 -*-
import scrapy
from testImage import items
class GetphotoSpider(scrapy.Spider):
    name = 'getPhoto'
    allowed_domains = ['www.wmpic.me']
    start_urls = ['http://www.wmpic.me/93912']
    def parse(self, response):
        #//*[@id="content"]/div[1]/p/a[2]/img
        urlImage = response.xpath('//*[@id="content"]/div[1]/p/a/img/@src').extract()
        print(urlImage)
        for urllink in urlImage:
            item = items.PhotoItem()
            item['imageLink'] = urllink            
            yield item
            
            
        ifnext  = response.xpath('//*[@id="content"]/div[2]/text()').extract()[0] 
        # 当没有下一篇,即最后一页停止爬取
        if("下一篇" in ifnext):
            nextUrl = response.xpath('//*[@id="content"]/div[2]/a/@href').extract()[0]
            url=response.urljoin(nextUrl)
            yield scrapy.Request(url=url)

  此时,便可以看到路径下的下载后的文件了。(由于该网址每页的图片所在的xpath都不一样,故下载的图片不全)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/119474.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • idea如何打包war包_idea怎么导入war包

    idea如何打包war包_idea怎么导入war包本文分四个步骤进行讲述步骤一、打开ProjectStructure步骤二、增加打包配置(包括项目、打包类型、导出路径等等)步骤三、修改war包配置步骤四、打包步骤一、打开ProjectStructure打开idea开发工具,在File下找到ProjectStructure…(注意:低版本的idea在Nevigate目录下找)步骤二、增加打包配置(包括项目、打包类型、导出路径等…

  • JS 中 scrollWidth、scrollHeight、scrollLeft 、scrollTop 详解

    JS 中 scrollWidth、scrollHeight、scrollLeft 、scrollTop 详解1.总述在JS中scrollWidth、scrollHeight、scrollLeft 、scrollTop属性在做一些复杂的交互效果中是非常常用的,因此在本博文中详细的介绍并给出实例。以上的4个属性是成对出现的,因此下面介绍中也成对的介绍,在实例中为了减少代码量,我直接用的id,实际开发中不推荐。2.scrollWidth和scrollHeight2.1概念element…

  • nginx 配置ssl

    nginx 配置sslnginx配置ssl

  • js 手机号码正则

    js 手机号码正则varphone=document.getElementById(‘phone’).value;if(!(/^1[3456789]\d{9}$/.test(phone))){alert(“手机号码有误,请重填”);returnfalse;}varphone=document.getElementById(‘phon…

  • vue 使用 axios 上传文件 — FormData

    vue 使用 axios 上传文件 — FormData    在此主要介绍如何使用formData对象上传单文件和多文件,FormData就是XMLHttpRequestLevel2新增的一个对象,利用它来提交表单、模拟表单提交,当然最大的优势就是可以上传二进制文件。    过多介绍不说,过多的煽情语句不说,直接来来干活,希望对广大博友有所帮助。也希望各位大神不吝赐教一:前台上传文件的表单和响应函数&lt;!–文件上传…

  • dns服务器地址为空,dns服务器地址为空

    dns服务器地址为空,dns服务器地址为空dns服务器地址为空内容精选换一换在执行基本配置操作前,以root用户登录云服务器。在配置内网DNS后,弹性云服务器可以通过虚拟私有云的内网访问相关云服务,能够为用户提供更稳定、可靠的网络环境。配置DNS需要配置“/etc”目录下的resolv.conf文件,指定DNS服务器的IP地址。内网DNS服务器的IP地址与用户所处的区域相关,用户可通过表1获取内网DNS服务器的I内网下载镜像失败基本上都…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号