python 404_python检测404页面

python 404_python检测404页面某些网站为了实现友好的用户交互,提供了一种自定义的错误页面,而不是显示一个大大的404,比如CSDN上的404提示页面如下:这样虽然提高了用户体验,但是在编写对应POC进行检测的时候如果只根据返回的HTTP头部信息判断,则很可能造成误报,为了能准确检测到404页面,需要从状态码和页面内容两个方面来进行判断。从状态码来判断比较简单。可以直接使用requests库发送http请求,得到响应码即可。从…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

某些网站为了实现友好的用户交互,提供了一种自定义的错误页面,而不是显示一个大大的404 ,比如CSDN上的404提示页面如下:

python 404_python检测404页面

这样虽然提高了用户体验,但是在编写对应POC进行检测的时候如果只根据返回的HTTP头部信息判断,则很可能造成误报,为了能准确检测到404页面,

需要从状态码和页面内容两个方面来进行判断。

从状态码来判断比较简单。可以直接使用requests库发送http请求,得到响应码即可。

从页面内容上进行判断的话,采用的思路是访问web站点上明显不存在的页面,获取页面内容进行保存,然后访问目标页面,将二者进行比较,如果相似度达到某一阈值,则该页面为404页面,否则为正常页面。

为了判断两个页面的相似度,采用Python的simhash库,这个库具体实现的算法我不太懂,但是Python的好处就是:不懂无所谓,直接拿来用就行。这里也只是简单的拿来用一下:

#-*- encoding:utf-8 -*-

# 404 页面识别

from hashes.simhash import simhash

import requests

class page_404:

def __init__(self, domain): #检测站点

self._404_page = [] # 404页面

self._404_url = [] #404 url

self._404_path = [“test_404.html”, “404_test.html”, “helloworld.html”, “test.asp?action=modify&newsid=122%20and%201=2%20union%20select%201,2,admin%2bpassword,4,5,6,7%20from%20shopxp_admin”] #404页面路径,用于生成一部分404页面

self._404_code = [200, 301, 302] #当前可能是404页面的http请求的返回值

#自己构造404url,以便收集一些404页面的信息

for path in self._404_path:

for path in self._404_path:

if domain[-1] == “/”:

url = domain + path

else:

url = domain + “/” + path

response = requests.get(url)

if response.status_code in self._404_code:

self.kb_appent(response.content, url)

def kb_appent(self, _404_page, _404_url):

if _404_page not in self._404_page:

self._404_page.append(_404_page)

if _404_url not in self._404_url:

self._404_url.append(_404_url)

def is_similar_page(self, page1, page2):

hash1 = simhash(page1)

hash2 = simhash(page2)

similar = hash1.similarity(hash2)

if similar > 0.85: #当前阈值定义为0.85

return True

else:

return False

def is_404(self, url):

if url in self._404_url:

return True

response = requests.get(url)

if response.status_code == 404:

return True

if response.status_code in self._404_code:

for page in self._404_page:

if self.is_similar_page(response.content, page):

self.kb_appent(url, response.content) #如果是404页面,则保存当前的url和页面信息

return True

else:

return False

return False

上面的代码中,检测类中主要保存了这样几个信息:

_404_page:404页面,用于与其他请求的页面进行相似度判断,以便识别404页面,这里用列表主要为了防止一个站点有多种404页面,这段代码运行时间越长它的准确度越高

_404_url:404 页面的url,保存之前判断出页面是404的url,已经判断出来的就不再判断,为了提升效率

_404_path:构建不存在页面的url,最后一个是一个sql注入的代码,这里为了识别出那些被防火墙拦截而显示的错误页面

_404_code:可能返回404页面的响应码,如果响应码为这些,则需要对页面进行判断

类在初始化时需要传入一个域名,根据这个域名来拼接几个不存在的或者会被防火墙拦截的请求并提交这些请求,得到返回信息,将这些信息作为判断的信息进行保存。

在判断时首先根据之前保存的404 url信息进行判断,如果当前url是404页面则直接返回,提高效率。然后提交正常的http请求并获取响应信息,

如果响应码为404则返回True,否则再状态码是否在_404_code列表中,最后再与之前保存的404页面信息进行比较得到结果。

这段代码的测试代码如下:

from page_404 import page_404

if __name__ == ‘__main__’:

domain = “http://xzylrd.gov.cn”

check_404 = page_404(domain)

dest_url = “http://xzylrd.gov.cn/TEXTBOX2.ASP?action=modify&newsid=122%20and%201=2%20union%20select%201,2,admin%2bpassword,4,5,6,7%20from%20shopxp_admin”

print (check_404.is_404(dest_url))

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/164567.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • matlab解常微分方程组数值解法(二元常微分方程组的解法)

    上篇博客介绍了Matlab求解常微分方程组解析解的方法:博客地址微分方程组复杂时,无法求出解析解时,就需要求其数值解,这里来介绍。以下内容按照Matlab官方文档提供的方程来展开(提议多看官方文档)介绍一下核心函数ode45()一般形式:[t,y]=ode45(odefun,tspan,y0) 其中tspan=[t0tf]功能介绍:求微分方程组y′=f(t,y)从t0…

  • AjaxPro使用说明[通俗易懂]

    AjaxPro使用说明[通俗易懂]目录AjaxPro使用说明    1目录    2修改历史纪录    31、什么是Ajax    42、为什么使用Ajax    43、Ajax应用场景    44、Ajax开发框架    55、AjaxPro说明    66、AjaxPro实例说明    62.1、添加AjaxPro.dll应用    62.2、配置web.config    82…

  • 编写测试用例及一个例子

    编写测试用例及一个例子一.概念1.什么是测试用例?在测试过程中很重要的一类文档,它是测试工作的核心、是一组在测试时输入输出的标准、是软件需求的具体对照。2.测试用例的作用:检验软件是否满足客户需求、体现一个测试人员的工作量、展现测试用例的设计思路3.测试用例所包含的内容:用例编号、用例名称、测试背景、前置条件、优先级、重要级、测试数据、测试步骤、预期结果、实际结果、备注。4.测试用例的编写流…

  • Redis在windows下安装过程

    Redis在windows下安装过程

    2021年10月10日
  • python语言的优点和缺点[通俗易懂]

    python语言的优点和缺点[通俗易懂]python作为一门高级编程语言,它的诞生虽然很偶然,但是它得到程序员的喜爱却是必然之路。龟叔给Python的定位是“优雅”、“明确”、“简单”,所以Python程序看上去总是简单易懂,初学者学Py

  • Adaptive thresholding using the integral image

    Adaptive thresholding using the integral image#include #include #include#includeusingnamespacestd; voidvvAdaptiveThreshold(IplImage*inImg,IplImage*outImg){intS=inImg->width>>5;intT=10;char*input,*bin;

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号