python 404_python检测404页面

python 404_python检测404页面某些网站为了实现友好的用户交互,提供了一种自定义的错误页面,而不是显示一个大大的404,比如CSDN上的404提示页面如下:这样虽然提高了用户体验,但是在编写对应POC进行检测的时候如果只根据返回的HTTP头部信息判断,则很可能造成误报,为了能准确检测到404页面,需要从状态码和页面内容两个方面来进行判断。从状态码来判断比较简单。可以直接使用requests库发送http请求,得到响应码即可。从…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

某些网站为了实现友好的用户交互,提供了一种自定义的错误页面,而不是显示一个大大的404 ,比如CSDN上的404提示页面如下:

python 404_python检测404页面

这样虽然提高了用户体验,但是在编写对应POC进行检测的时候如果只根据返回的HTTP头部信息判断,则很可能造成误报,为了能准确检测到404页面,

需要从状态码和页面内容两个方面来进行判断。

从状态码来判断比较简单。可以直接使用requests库发送http请求,得到响应码即可。

从页面内容上进行判断的话,采用的思路是访问web站点上明显不存在的页面,获取页面内容进行保存,然后访问目标页面,将二者进行比较,如果相似度达到某一阈值,则该页面为404页面,否则为正常页面。

为了判断两个页面的相似度,采用Python的simhash库,这个库具体实现的算法我不太懂,但是Python的好处就是:不懂无所谓,直接拿来用就行。这里也只是简单的拿来用一下:

#-*- encoding:utf-8 -*-

# 404 页面识别

from hashes.simhash import simhash

import requests

class page_404:

def __init__(self, domain): #检测站点

self._404_page = [] # 404页面

self._404_url = [] #404 url

self._404_path = [“test_404.html”, “404_test.html”, “helloworld.html”, “test.asp?action=modify&newsid=122%20and%201=2%20union%20select%201,2,admin%2bpassword,4,5,6,7%20from%20shopxp_admin”] #404页面路径,用于生成一部分404页面

self._404_code = [200, 301, 302] #当前可能是404页面的http请求的返回值

#自己构造404url,以便收集一些404页面的信息

for path in self._404_path:

for path in self._404_path:

if domain[-1] == “/”:

url = domain + path

else:

url = domain + “/” + path

response = requests.get(url)

if response.status_code in self._404_code:

self.kb_appent(response.content, url)

def kb_appent(self, _404_page, _404_url):

if _404_page not in self._404_page:

self._404_page.append(_404_page)

if _404_url not in self._404_url:

self._404_url.append(_404_url)

def is_similar_page(self, page1, page2):

hash1 = simhash(page1)

hash2 = simhash(page2)

similar = hash1.similarity(hash2)

if similar > 0.85: #当前阈值定义为0.85

return True

else:

return False

def is_404(self, url):

if url in self._404_url:

return True

response = requests.get(url)

if response.status_code == 404:

return True

if response.status_code in self._404_code:

for page in self._404_page:

if self.is_similar_page(response.content, page):

self.kb_appent(url, response.content) #如果是404页面,则保存当前的url和页面信息

return True

else:

return False

return False

上面的代码中,检测类中主要保存了这样几个信息:

_404_page:404页面,用于与其他请求的页面进行相似度判断,以便识别404页面,这里用列表主要为了防止一个站点有多种404页面,这段代码运行时间越长它的准确度越高

_404_url:404 页面的url,保存之前判断出页面是404的url,已经判断出来的就不再判断,为了提升效率

_404_path:构建不存在页面的url,最后一个是一个sql注入的代码,这里为了识别出那些被防火墙拦截而显示的错误页面

_404_code:可能返回404页面的响应码,如果响应码为这些,则需要对页面进行判断

类在初始化时需要传入一个域名,根据这个域名来拼接几个不存在的或者会被防火墙拦截的请求并提交这些请求,得到返回信息,将这些信息作为判断的信息进行保存。

在判断时首先根据之前保存的404 url信息进行判断,如果当前url是404页面则直接返回,提高效率。然后提交正常的http请求并获取响应信息,

如果响应码为404则返回True,否则再状态码是否在_404_code列表中,最后再与之前保存的404页面信息进行比较得到结果。

这段代码的测试代码如下:

from page_404 import page_404

if __name__ == ‘__main__’:

domain = “http://xzylrd.gov.cn”

check_404 = page_404(domain)

dest_url = “http://xzylrd.gov.cn/TEXTBOX2.ASP?action=modify&newsid=122%20and%201=2%20union%20select%201,2,admin%2bpassword,4,5,6,7%20from%20shopxp_admin”

print (check_404.is_404(dest_url))

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/164567.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 安卓chrome 扫描二维码_付款扫的是条形码还是二维码

    安卓chrome 扫描二维码_付款扫的是条形码还是二维码了解二维码这个东西还是从微信中,当时微信推出二维码扫描功能,自己感觉挺新颖的,从一张图片中扫一下竟然能直接加好友,不可思议啊,那时候还不了解二维码,呵呵,然后做项目的时候,老板说要加上二维码扫描功能,然后自己的屁颠屁颠的去百度,google啥的,发现很多朋友都有介绍二维码扫描的功能,然后我就跟着人家的介绍自己搞起了二维码扫描功能,跟着人家的帖子,很快我的项目就加入了扫描二维码的功能,然后自己还很开

    2022年10月22日
  • UML时序图简析[通俗易懂]

    UML时序图简析[通俗易懂]前言在嵌入式软件开发中,必然会遇到与其他控制板卡或者服务器通信的情况。比如,制作一个无线远程控制系统。系统分为,输入设备,云端服务器,执行设备。其中输入设备,用户可以通过设备上的触摸屏进行交互,控制或者监测远程设备云端服务器,收发终端,接收输入设备的命令,并将其转换为执行设备可识别的信号发送到可执行设备。执行设备,执行服务器发送过来的命令,并且反馈当前的设备的一些状态.简单如下图所示。一般,这样的系统需要多人共同协作完成,输入设备的开发人员负责输入设备开发,云端负责云端,执行端负责执行端

  • Java线程池设置名称,看完必会

    点击上方☝,轻松关注!及时获取有趣有料的技术文章本文讲一下Java线程池中创建 ThreadFactory 设置线程名称的三种方式。设置线程名称是很重要的,如果你没有设置过,说明你还“涩…

  • hdu 1396

    hdu 1396递推,找规律#include#includeusingnamespacestd;intcount[510];intmain(){ count[1]=1; inti,j; for(i=2;i<=500;i++) { intt=count[i-1]; for(j=1;j<=i;j++)t=t+i+1-j; for(j=1;i-j>=j;j++)t=

  • 深度相机之TOF原理详解

    深度相机之TOF原理详解3D建模是VR领域的重要技术基础,而随着深度相机消费级别的普及,对3D建模在硬件支持方面迈出了很关键的一步,本文分享了TOF深度相机的原理,应用的领域,能很好的给读者一个全局的把握

  • webgame开发中的文件解密

    webgame开发中的文件解密上一篇讲的是文件的加密,这一篇记录一下如何加载并显示图片。 因为图片文件经过加密,已经成了二进制流的文件了(一堆乱码),只能使用URLStream来加载资源了。这里有一点要注意:URLStream中的读取操作是非阻塞的,在读取数据之前必须使用bytesAvailable属性来确定是否能够获取足够的数据,如何不能获取足够的数据,将引发EOFError异常。 主要思路:1、加载…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号