一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷!

一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷!

点击上方“全栈程序员社区”,星标公众号

重磅干货,第一时间送达

责编:乐乐

链接:oschina.net/news/112586/kk-anti-reptile-released

kk-anti-reptile 是适用于基于 spring-boot 开发的分布式系统的反爬虫组件。

系统要求

  • 基于 spring-boot 开发(spring-boot1.x, spring-boot2.x均可)

  • 需要使用 redis

工作流程

kk-anti-reptile 使用基于 Servlet 规范的的 Filter 对请求进行过滤,在其内部通过 spring-boot 的扩展点机制,实例化一个 Filter,并注入到 Spring 容器 FilterRegistrationBean 中,通过 Spring 注入到 Servlet 容器中,从而实现对请求的过滤。

在 kk-anti-reptile 的过滤 Filter 内部,又通过责任链模式,将各种不同的过滤规则织入,并提供抽象接口,可由调用方进行规则扩展。Filter 调用则链进行请求过滤,如过滤不通过,则拦截请求,返回状态码 509,并输出验证码输入页面,输出验证码正确后,调用过滤规则链对规则进行重置。

目前规则链中有如下两个规则

ip-rule

ip-rule 通过时间窗口统计当前时间窗口内请求数,小于规定的最大请求数则可通过,否则不通过。时间窗口、最大请求数、ip 白名单等均可配置。

ua-rule

ua-rule 通过判断请求携带的 User-Agent,得到操作系统、设备信息、浏览器信息等,可配置各种维度对请求进行过滤。

命中规则后

命中爬虫和防盗刷规则后,会阻断请求,并生成接除阻断的验证码,验证码有多种组合方式,如果客户端可以正确输入验证码,则可以继续访问

一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷!

验证码有中文、英文字母+数字、简单算术三种形式,每种形式又有静态图片和 GIF 动图两种图片格式,即目前共有如下六种,所有类型的验证码会随机出现,目前技术手段识别难度极高,可有效阻止防止爬虫大规模爬取数据

接入使用

后端接入非常简单,只需要引用 kk-anti-reptile 的 maven 依赖,并配置启用 kk-anti-reptile 即可加入 maven 依赖

<dependency>

    
<groupId>cn.keking.project
groupId>

    
<artifactId>kk-anti-reptile
artifactId>

    
<version>1.0.0-SNAPSHOT
version>


dependency>


配置启用 kk-anti-reptile

anti.reptile.manager.enabled=true


前端需要在统一发送请求的 ajax 处加入拦截,拦截到请求返回状态码 509 后弹出一个新页面,并把响应内容转出到页面中,然后向页面中传入后端接口 baseUrl 参数即可,以使用 axios 请求为例:

import axios 
from 
‘axios’;


import {baseUrl} 
from 
‘./config’;

axios.interceptors.response.use(

  data => {

    
return data;

  },

  error => {

    
if (error.response.status === 
509) {

      
let html = error.response.data;

      
let verifyWindow = 
window.open(
“”,
“_blank”,
“height=400,width=560”);

      verifyWindow.document.write(html);

      verifyWindow.document.getElementById(
“baseUrl”).value = baseUrl;

    }

  }

);


export 
default axios;


注意

  • apollo-client 需启用 bootstrap

使用 apollo 配置中心的用户,由于组件内部用到 @ConditionalOnProperty,要在 application.properties/bootstrap.properties 中加入如下样例配置,(apollo-client 需要 0.10.0 及以上版本)详见 apollo bootstrap 说明

apollo.bootstrap.enabled = true


  • 需要有 Redisson

连接如果项目中有用到 Redisson,kk-anti-reptile 会自动获取 RedissonClient 实例对象; 如果没用到,需要在配置文件加入如下 Redisson 连接相关配置:

spring.redisson.address=redis://192.168.1.204:6379

spring.redisson.password=xxx


配置一览表

在 spring-boot 中,所有配置在配置文件都会有自动提示和说明,如下图:

一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷!

所有配置都以 anti.reptile.manager 为前缀,如下为所有配置项及说明:

一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷!

转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]

本文标题:反爬虫防盗刷 Spring Boot 组件 kk-anti-reptile 初版发布

本文地址:https://www.oschina.net/news/112586/kk-anti-reptile-released

一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷!

本文分享自微信公众号 – 全栈程序员社区(mush_it)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/2453.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • iframe属性参数「建议收藏」

    iframe属性参数

    当点击一个子页面的链接时,如何将另一个子页面嵌入到当前iframe中
    只要给这个iframe命名就可以了。
    ,然后,网页上的超链接语句应该写为:
     
    将iframe解释成“浏览器中的浏览器”很是

  • Centos6.5镜像下载[通俗易懂]

    Centos6.5镜像下载[通俗易懂]CentOS6.5系统安装1、首先打开网易开源镜像站:http://mirrors.163.com/当然,大家也可以使用阿里开源镜像站:http://mirrors.aliyun.com/2、点击进入centos目录。3、因为我们选择安装centos6.5版本系统,所以点击进入6.5/目录4、我们打开里面的readme文件,找到下载地址:http://va…

  • pycharm双击打不开,没有反应,下列方法亲测有用!

    pycharm双击打不开,没有反应,下列方法亲测有用!关于这个问题,刚好我朋友安装的pycharm出现了同样地问题,激活成功教程安装一段时间后就突然打不开了,网上有许多的解决办法,我都试了一遍还是无果,后来自己发现了问题所在,首先给大家科普一下网上的方法,再放上我的,请大家耐心读完。亲测有效!!!第一种:1.打开C:\Windows\System32;以管理员身份运行cmd.exe;2.在打开的cmd窗口中,输入netshwinsockreset,按回车键;3.重启电脑;4.重启后,双击pycharm图标就能打开了!第二种:在Pycha

  • 台式机网线连接笔记本通过wifi上网

    台式机网线连接笔记本通过wifi上网台式机网线连接笔记本通过wifi上网完整方案有时台式机会突然断网,网线没问题,笔记本没问题,问题出在台式机的ip上。完整方案1、网线两端连接笔记本和台式机。以前需要用交叉网线,但是现在的网线好像不作区分了,都能用。2、笔记本端WiFi连接网络3、wlan网络属性勾选网络共享,如果有多个网络,框里选择以太网。4、笔记本的以太网属性中,记下ip地址和子网掩码5、在台式机的以太网属性中,默认网关设置与上面的ip地址相同,因为子网掩码前三位都是255,所以台式机的ip地址前三位与网关相同,后一位好

  • 数仓分层(ODS、DWD、DWS、DWT、ADS)和数仓建模

    数仓分层(ODS、DWD、DWS、DWT、ADS)和数仓建模文章目录一、数仓分层数仓概念ODS(原始数据层)做了哪些事DWD(明细数据层)做了哪些事DWS(服务数据层)做了哪些事DWT(主题数据层)做了哪些事ADS(应用数据层)做了哪些事二、数仓建模常用的建模工具ODS层DWD层DWS层DWT层ADS层一、数仓分层数仓概念什么是数仓:数据仓库是为企业所有决策制定过程,提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备。这些准

  • pycharm 创建项目_pycharm配置git

    pycharm 创建项目_pycharm配置gitpycharm创建git项目(vnpy)

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号