分布式爬虫部署[通俗易懂]

分布式爬虫部署[通俗易懂]【服务器端】1.下载redis,RedisDesktopManagerredis。2.修改配置文件(找到redis下的redis.windows.conf双击打开,找到bind并修改为0.0.0.0,然后protected-mode“no”3.打开cmd命令行进入redis的安装目录,输入redis-server.exeredis.windows.conf回车,保持程序一直开着。如果不是这个界面,证明redis服务已经开启了,需要redis-clishutdow

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

【服务器端】

1.下载redis ,Redis Desktop Managerredis。

2.修改配置文件(找到redis下的redis.windows.conf 双击打开,找到bind 并修改为0.0.0.0,然后 protected-mode “no”

3.打开cmd命令行 进入redis的安装目录,输入redis-server.exe redis.windows.conf 回车,保持程序一直开着。

在这里插入图片描述

如果不是这个界面,证明redis服务已经开启了,需要

redis-cli shutdown

        重新输入一次redis-server.exe redis.windows.conf

4.主机开启redis服务之后,不要断开,切记!!! 进入redis安装目录,输入:redis-cli.exe -h 主机(或者别人的)ip地址(-p 端口号6379(可以不用写)),也可以直接redis-cli -h 主机ip 地址用来测试是否可以远程连接redis(如果回车之后没有出现如图效果,检查自己的bind是否修改以及redis服务是否被自己关闭)出现如下表示可以远程连接redis 

在这里插入图片描述

如果想要操作数据库连接中指定数据库(默认的是数据库0),比如操作数据库5可以在命令行输入:redis-cli -h 192.168.0.1 -n 5

详情参考:Redis在命令行中操作指定数据库下的key – 简书

 5在Redis Desktop Managerredis中创建连接,一定要HOST设置成本机的ip,不要是127.0.0.1,要不然分机程序一运行就会一直停顿。

6,向redis输入链接,lpush bole:start_urls 网址

模板:lpush redis_keys  网址

分布式爬虫部署[通俗易懂]

 【爬虫端部署】

爬虫分两种流派,一种是有规则的,一种是无规则的。运行方式各有不通。

共同点:setting.py

LOG_LEVEL='DEBUG'
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'dushu_redis (+http://www.yourdomain.com)'
#配置去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#配置调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
#setting.py 
ROBOTSTXT_OBEY=False
DOWNLOAD_DELAY = 1
REDIS_URL = 'redis://root:@192.168.0.105:6379/0'
ITEM_PIPELINES = {
    #'dushu_redis.pipelines.DushuRedisPipeline': 300,
    'scrapy_redis.pipelines.RedisPipeline': 400,
}

Jetbrains全家桶1年46,售后保障稳定

(1)【有规则的爬虫】这里一定要开启爬虫过滤   ,否则在有些版本,无法过滤

def make_requests_from_url(self, url):
        return scrapy.Request(url, dont_filter=False)

import scrapy
from scrapy.spiders import Rule
#from scrapy_redis.spiders import RedisSpider
from scrapy.linkextractors import LinkExtractor
from scrapy_redis.spiders import RedisCrawlSpider
class GuoxueSpider(RedisCrawlSpider):
    name = 'bole'
    # start_urls = ['http://blog.jobbole.com/all-posts/']  
    # 添加键
    redis_key = 'bole:start_urls'
    rules = (
        # follow all links
        Rule(LinkExtractor(), callback='parse_page', follow=True),
    )
    def __init__(self, *args, **kwargs):
        # Dynamically define the allowed domains list.
        domain = kwargs.pop('domain', '')
        self.allowed_domains = filter(None, domain.split(','))
        super(GuoxueSpider, self).__init__(*args, **kwargs)
    def make_requests_from_url(self, url):
        return scrapy.Request(url, dont_filter=False)
    def parse_page(self, response):
        aa=response.css('title::text').extract_first()
        print(aa)
        return {
            'name': response.css('title::text').extract_first(),
            'url': response.url,
        }

运行方式 在爬虫的根目录运行scrapy crawl 爬虫名

(2)【无规则的爬虫】
 

from scrapy_redis.spiders import RedisSpider

class GuoxuespiderSpider(RedisSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'myspider'
    redis_key = 'bole:start_urls'

    def __init__(self, *args, **kwargs):
        # Dynamically define the allowed domains list.
        domain = kwargs.pop('domain', '')
        self.allowed_domains = filter(None, domain.split(','))
        super(GuoxuespiderSpider, self).__init__(*args, **kwargs)
    def make_requests_from_url(self, url):
        return scrapy.Request(url, dont_filter=False)
    def parse(self, response):
        aa=response.css('title::text').extract_first()
        print(aa)
        return {
            'name': response.css('title::text').extract_first(),
            'url': response.url,
        }

运行方式:

分布式爬虫部署[通俗易懂]

Redis DeskTop Manager 使用教程 – King-DA – 博客园

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/213742.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 软件使用&vmware虚拟机的安装步骤详细[通俗易懂]

    实验环境:Windows+Vmware12+RHEL7.2+Xshell5准备工作:1.关闭并退出360,电脑管家等优化软件,防止虚拟机运行出现问题。2.打开链接http://www.vmware.com/cn/products/workstation/workstation-evaluation下载试用版3.安装该软件,可以指定将来虚拟机存放的目录,其他随意。打开vmwar…

  • 常用资源网站

    常用资源网站排名不分先后(1)https://www.codeproject.com/(2)http://www.codeguru.com/(3)https://www.cnblogs.com

    2021年12月18日
  • ETAS软件产品(CRISPR/Cas9系统)

    原标题:国产化操作系统下的OCR技术前两年自主可控平台的理念甚嚣尘上,后来又出现了安可联盟,现在终于定论了信创概念,众多工具软件、应用软件、数据库软件以及各类接口类程序都在慢慢接入国产化的操作系统,助力国内的IT环境的搭建与运维,现在终于有了比较好用的、可以在国产化操作系统平台下使用的OCR文档文字识别技术开发包了~目前国产化操作系统下的OCR技术可以OCR识别简体中文、繁体中文以及中英文混排的文…

  • python表情代码_Python实现表情包的代码实例[通俗易懂]

    python表情代码_Python实现表情包的代码实例[通俗易懂]本文主要介绍了使用Python进行简单图像处理的方法以及Python自动生产表情包的实例,具有很好的参考价值,下面跟着小编一起来看下吧作为一个数据分析师,应该信奉一句话——“一图胜千言”。不过这里要说的并不是数据可视化,而是一款全民向的产品形态——表情包!!!!表情包不仅仅是一种符号,更是一种文化——是促进社交乃至社会发展的动力之一,就像懒。我们坚持认为,一张优秀的表情包,应该是一幅艺术品,是那忽…

    2022年10月29日
  • 如何查看centos版本信息_怎么查看ie浏览器的版本

    如何查看centos版本信息_怎么查看ie浏览器的版本详细讲解查看CentOS版本信息的命令。   (一)查看已经安装的CentOS版本信息   1.cat/etc/issue查看版本  cat 缩写concatenate cat命令可以用来显示、合并文件。  CentOSrelease6.6(Final)  CentOS发行版6.6    etc 初期etc的英文名…

  • ScaleAnimation开始结束位置分析[通俗易懂]

    ScaleAnimation开始结束位置分析[通俗易懂]做项目的时候,需要用到动画,大小和位置都不一样。刚开始想到的是ScaleAnimation和TranslateAnimation进行组合,但实验后发现,目标位置始终不对,只用TranslateAnimation是没有问题,所以ScaleAnimation应该不只是进行了缩放经过查找资料,发现ScaleAnimation还进行起始位置的移动。ScaleAnimation分为两种情况,从本身的位置…

    2022年10月15日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号