URL过滤技术

URL过滤原理

URl过滤技术对用户的URL进行访问控制，允许或禁止用户访问某些网络资源，可以达到规范上网的目的。对于制定URRl分类的HTTP报文，NGFW可以修改报文中的DSCP（Differentiated Services Code Point），是对网络设备进行流量分类的依据。

URL过滤功能只支持过滤HTTP协议和HTTPS协议的URL请求。

需要过滤HTTPS协议的URL请求时，还需要配置SSL解密功能，NGFW是对解密后的HTTP流量进行URL过滤。

URL地址结构

URL（Uniform Resource Locator，统一资源定位符）

URL一般格式：protocol://hostname[:port]/path[?query]

protocol：使用的应用协议，例如http，https

hostname：WEB服务器的DNS主机名或IP地址

：port：可选，通信端口。各种应用协议都有默认的端口号，如HTTP协议的默认端口为80、HTTPS协议的默认端口号为443。当Web服务器采用非默认端口时，URL中不能省略端口号。

？query：可选，用于给动态页码传递参数。

URL匹配方式

• 前缀匹配：匹配所有以指定字符串开头的URL
• 后缀匹配：匹配所有以指定字符串结尾的URL
• 关键字匹配：匹配所有包含指定字符串的URL
• 精确匹配：首先判断URL和指定字符串是否匹配，如果未匹配，则去除URL的最后一个目录，再次和指定字符串进行匹配。……

URL条目不区分大小写

URL过滤方式

黑白名单

NGFW将解析出的URL地址与黑白名单进行匹配，如果匹配白名单则允许该URL请求;如果匹配黑名单则阻断该URL请求，同时显示Web推送页面。当上网请求的URL与白名单匹配时，不会再对该上网请求进行后续的匹配处理。

设置白名单有利于提高匹配效率。

URL自定义分类

设备提取URL信息后，优先进行自定义分类的查询。如果匹配自定义分类，则按照URL过滤配置文件中配置的响应动作进行处理。当控制动作为阻断时，NGFW将阻断该URL请求，同时显示Web推送页面。

URL预定义分类查询

• 本地缓存查询:设备初次上电时，已经将URL分类预置库加载到缓存里。当设备提取了URL信息后，首先会在缓存中查询该URL对应的分类。如果查询到URL分类，则按照URL过滤配置文件中配置的响应动作进行处理。当控制动作为阻断时，NGFW将阻断该URL请求，同时显示Web推送页面。如果查询不到则到远程分类服务器上继续查询。
• 远程分类服务器查询:该服务器部署在广域网，提供更庞大的URL分类信息。当本地缓存中查询不到URL对应的分类时，设备将该URL送入远程查询服务器继续查询。如果查询到URL对应的分类，则按照URL过滤配置文件中配置的响应动作进行处理，并将该URL和其对应的分类信息保存到本地缓存中，以便下次快速查询。当控制动作为阻断时，NGFW将阻断该URL请求，同时显示Web推送页面。如果查询不到，则按照分类为“其他”的响应动作进行处理。

URL过滤的控制动作

允许:指允许用户访问请求的URL。

告警:指允许用户访问请求的URL，同时记录日志。

阻断:指阻断用户访问请求的URL，同时记录日志。

URL过滤处理流程

1.用户发起URL访问请求，如果数据流匹配了安全策略，且安全策略的动作为允许，则进行URL过滤处理流程。

2.NGFW将URL信息与白名单进行匹配。

• 如果匹配白名单，则允许该请求通过。
• 如果未匹配白名单，则进行下一一步检测。

3.NGFW将URl信息与黑名单进行匹配

• 如果匹配黑阻断名单，则允许该请求通过。
• 如果未匹配黑名单，则进行下一一步检测。

4.NGFW将URL信息与自定义分类进行匹配。

• 如果匹配自定义分类，则按照自定义URL分类的控制动作处理请求。

说明:管理员自行向预定义分类中添加的URL属于自定义分类的URL。

• 如果未匹配自定义分类，则进行下一步检测。

5.NGFW将URL信息与本地缓存中的预定义分类进行匹配。

• 如果在本地缓存中查询到对应的分类，则按照该分类的控制动作处理请求
• 如果在本地缓存中没有查询到对应的分类，则进行远程服务器分类查询。
  • 如果远程服务器可用，则继续进行远程服务器分类查询。
  • 如果远程服务器不可用，则按照缺省动作处理请求。

6.启动远程服务器分类查询

• 如果远程服务器分类查询超时，则按照管理员配置的预定义分类查询超时的动作处理。
• 如果URL分类服务器明确查询到该URL属于预定义分类的某个分类，则按照该分类的控制动作处理。

URL过滤配置思路

1. 配置URL自定义分类。
2. 配置黑白名单
3. 配置URL过滤Profile
4. 配置安全策略
5. 提交编译
   

URL故障处理思路

1.策略下配置的规则存在优先级关系

2.用户/组没有安全策略中应用或应用错误

3.流量匹配了优先级更高的安全策略规则

4.URL过滤配置文件没有在安全策略中应用

5.修改后的URL过滤配置文件未提交编译

URL过滤在匹配时按照：白名单>黑名单>自定义分类>预定义分类