data pipeline是做什么_pycharm创建爬虫项目

data pipeline是做什么_pycharm创建爬虫项目一.保存至MongoDBimportpymongoclassMongoPipeline(object):#初始化参数def__init__(self,mongo_uri,mongo_db):self.mongo_uri=mongo_uriself.mongo_db=mongo_db#以依赖注入的…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

爬取爱套图网图片:https://github.com/EExplode/scrapy_aitaotu

一.保存至MongoDB

import pymongo


class MongoPipeline(object):
    # 初始化参数
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    # 以依赖注入的方式获取settings.py中的配置信息
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB')
        )

    # Spider开启时,初始化数据库连接
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    # 将item插入MongoDB,集合定义在item中
    def process_item(self, item, spider):
        self.db[item.collection].insert(dict(item))
        return item

    # Spider结束后,关闭数据库连接
    def close_spider(self, spider):
        self.client.close()

二.保存至MySQL

import pymysql


class MysqlPipeline(object):
    def __init__(self, host, database, user, password, port):
        self.host = host
        self.database = database
        self.user = user
        self.password = password
        self.port = port

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            host=crawler.settings.get('MYSQL_HOST'),
            database=crawler.settings.get('MYSQL_DATABASE'),
            user=crawler.settings.get('MYSQL_USER'),
            password=crawler.settings.get('MYSQL_PASSWORD'),
            port=crawler.settings.get('MYSQL_PORT'),
        )

    def open_spider(self, spider):
        self.db = pymysql.connect(self.host, self.user, self.password, self.database, charset='utf8', port=self.port)
        self.cursor = self.db.cursor()

    def close_spider(self, spider):
        self.db.close()

    def process_item(self, item, spider):
        data = dict(item)
        keys = ', '.join(data.keys())
        values = ', '.join(['%s'] * len(data))
        sql = 'insert into %s (%s) values (%s)' % (item.table, keys, values)
        self.cursor.execute(sql, tuple(data.values()))
        self.db.commit()
        return item

三.图片下载管道

from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy import Request
import re


class ImagePipeline(ImagesPipeline):
    # 返回文件名及其相对路径
    # 'https://img.aitaotu.cc:8089/Pics/2020/0115/22/04.jpg'
    # '/Pics/2020/0115/22/04.jpg'
    def file_path(self, request, response=None, info=None):
        return re.search('(.*)8089(.*)', request.url).group(2)

    # 若下载失败,则抛出异常
    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem('Image Downloaded Failed')
        return item

    # 设置请求头,下载图片
    def get_media_requests(self, item, info):
        headers = { 
   
            "Referer": item['referer'],
            "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
        }
        yield Request(item['image'], headers=headers)

四.其他文件

items.py

import scrapy


class AitaotuItem(scrapy.Item):
    collection = table = 'images'

    # 图片链接
    image = scrapy.Field()
    # 图片链接请求头关键参数,不然下载出现404
    referer = scrapy.Field()
    # 图片名称
    image_name = scrapy.Field()

settings.py

ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 0.5

ITEM_PIPELINES = { 
   
    'Aitaotu.pipelines.ImagePipeline': 300,
    'Aitaotu.pipelines.MongoPipeline': 301,
    'Aitaotu.pipelines.MysqlPipeline': 302,
}

# 图片管道配置
IMAGES_STORE = './images'

# mongodb配置
MONGO_URI = 'localhost'
MONGO_DB = 'aitaotu'

# msyql配置
MYSQL_HOST = 'localhost'
MYSQL_PORT = 3306
MYSQL_USER = 'root'
MYSQL_PASSWORD = '123456'
MYSQL_DATABASE = 'aitaotu'

五.Feed 导出

scrapy crawl aitaotu -o images.json
scrapy crawl aitaotu -o images.jsonlines
scrapy crawl aitaotu -o images.csv
scrapy crawl aitaotu -o images.xml
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/193846.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 基于麦克风阵列的声源定位_python播放声音模块

    基于麦克风阵列的声源定位_python播放声音模块上一篇文章说到odas_web界面非常难安装,并且运行也很卡。所以我自己用python写了一个界面程序,用来接收odas处理完的结果。这个界面程序与odas之间是通过socket连接的,界面作为服务器,odas作为客户端,由于有两路数据,所以各有两个服务器和客户端。但是实际绘制在界面上的是SSL的结果,不是SST的结果。其实我也试过SST的结果,从直观的感受而言,效果会比SSL差一些,实时性不是很高,我的理解SST的好处是可以跟踪音源是否有活动。

  • 移动app开发流程,app开发步骤

    移动app开发流程,app开发步骤个人github:https://github.com/qiilee 欢迎follow移动app开发流程,app开发步骤app是手机软件的简称。手机主流的有ios、andriod,windows平台。市场上程序做得比较多的也是前两款的平台。随着移动互联网的普及,移动终端功能的日益完善,很多企业看重移动互联网的重要,开始在这个领域完善自己的品牌,开展营销活动。一款好的app需要哪些…

  • linux 命令chmod 755的意思[通俗易懂]

    linux 命令chmod 755的意思[通俗易懂]chmod是Linux下设置文件权限的命令,后面的数字表示不同用户或用户组的权限。 一般是三个数字:第一个数字表示文件所有者的权限第二个数字表示与文件所有者同属一个用户组的其他用户的权限第三个数字表示其它用户组的权限。      权限分为三种:读(r=4),写(w=2),执行(x=1)。综合起来还有可读可执行(rx=5=4+1)、可读可写(rw=6=4+2)、可读可写可执行(…

  • linux安装svn服务器的两种方式(转载)「建议收藏」

    linux安装svn服务器的两种方式(转载)「建议收藏」操作环境:CentOS7.264位第一种:采用压缩包安装:比如你们公司服务器上安装软件有自己的规定,一般会采用压缩包安装。第一步:SVN服务器端压缩包下载下载地址:http://mirrors.cnnic.cn/apache/subversion/我下载的是subversion-1.8.19版本,下载好的压缩包置于目录/usr/local/java/svn下(根据大家实际需要自行选择存放目录)。第二步:解压,进入解压后的文件在/usr/local/java/svn目录下执行下面两个命令:

    2022年10月17日
  • idea配置JDK、Tomcat 环境

    idea配置JDK、Tomcat 环境

  • 购物程序「建议收藏」

    购物程序「建议收藏」#-*-coding:utf-8-*-"""CreatedonTueSep1116:35:292018@author:车路历程"&

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号