SCSA第四天总结「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。

一、防共享技术：

背景：
	在企业的网络管理、在运营商代建的高校网络中出现了防共享上网的需求，即防代理、防一拖N的需求。
	目前运营商以及企业需要面对共享上网主要带来的2个问题：
		1、	在企业中，不少用户共享自己访问互联网的权限给其他用户，绕开了企业对用户设定的上网权限控制，使得原本没有上网权限的用户可以上网了，或者使得原本上网权限较低的用户拥有了较高的权限，给网络管理带来了诸多麻烦。
		2、	在运营商承建和运维的高校网络中，遇到很多学生使用路由器或者其他软件方式，共享互联网的访问给其他同学或朋友，直接造成运营商的收益收到影响。
ID轨迹检测
	优点：
        较准确地判断出是否为共享上网用户
        较准确的判断出在线共享上网主机数
        完全被动监听，不发送探测信息
	缺点：
        需要一段时间的观察（一般两天以上）
        对分时上网和PROXY的检测效果不明显
        DHCP情况下效果较差
时钟偏移检测：
	优点：
		非常准确地判断出是否为共享上网用户
		能够较准确的判断出共享上网主机数
	缺陷：
		需要复杂的计算方法进行处理分析
		需要一段时间的观察（建议两天以上）
		DHCP情况下效果较差

深信服DPI检测技术：

技术原理：
   通过分析常用应用软件的数据包，发现一些软件刚启用不久发送的TCP数据包中带有PC的IP信息，AC设备通过分析这些数据包可以提取出PC端的IP，根据不同的IP数量得出共享的PC数量,比如QQ登录时候的数据包中会携带电脑网卡的IP地址，适用于windows的电脑。

深信服字体检测技术：

技术原理:
   在共享的PC相继访问http网站，播放在线视频（浏览器需要安装flash）， AC篡改PC请求，令PC上报系统字体信息到AC，假设pc1 上报的字体为font1， PC2上报的为font2， 那么要检测到PC1和PC2共享需要类似于这样的上报序列 font1，font2，font1交错上报，就可以识别出共享行为。
检测前提：
	相同flash插件制造商获取的系统字体列表相同
	不同PC间，相同flash插件制造商获取的系统字体列表不同
	这些特性与flash插件版本无关
	此方法只适用于windows的电脑

深信服辅助检测技术：

URL检测
  	通过分析常用应用软件的数据包，发现一些软件刚启用不久发送的HTTP请求中， URL会有一些特征串，在这些特征串中会有一段信息是和终端强关联的，即同一终端发送的特征串信息是相同的，不同终端间发送的是不同的， AC设备根据提取到的不同的特征串数量得出共享的终端数量。
微信特征ID 检测
 	通过分析微信客户端在发送消息时，在数据包固定的偏移位置，存在相同的一串二进制数对于同一个微信客户端。AC通过提取这串二进制数，统计提取数量的个数得出共享移动终端数量。

移动终端共享工作原理：

URL检测
	通过分析常用应用软件的数据包，发现一些软件刚启用不久发送的HTTP请求中， URL会有一些特征串，在这些特征串中会有一段信息是和移动端关联的强关联的，此方法能识别到不同型号移动终端共享行为。
应用规则检测
    设备内置规则库，可以从这些应用中分析出移动终端，其中包括IM社交、在线视频、生活、新闻资讯、地铁、下载客户端、移动浏览器、PC端手机助手等类型的应用，例如微信、移动QQ、新浪微博、优酷、91助手等常见于手持终端的app应用。
UA检测
  	User-Agent含浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识 版本信息，我们可以从中取这些信息来识别不同的终端类型。

二、流量管理技术
1.主流的流量检测技术：
流量检测方法

应用检测技术：

	【1】常用端口检测：
					端口检测法是依赖于端口来识别流量，在应用较少的互联网初期作用效果较好。
					随着互联网发展的多样化，应用的常用端口越来越不明显，因此，该方法识别能力非常有限。
	【2】深度流检测（DFI）：
				深度流检测方法主要采用基于流量行为的应用识别技术，即不同的应用类型体现在会话连接或数据流上的状态不同。
				主要识别指标包括：数据包的大小、速率、延时、持续时间、发送频率、上下行流量的比例关系以及IP地址的连接方式等。
	【3】深度包检测（DPI）：
				深度包检测不仅检测源地址、目的地址、源端口、目的端口以及协议类型，还增加了应用层分析，另外识别各种应用及其内容，包括关键字检测、应用网关检测、行为模式检测等。

应用控制技术：

1.流量整形技术：
	根据数据流识别的结果，对数据流量采用阻塞、随机丢包、或者提供QoS保证等方式，对符合策略控制条件的数据流进行流量管理和资源调度，达到流量控制的目的。
	举例：TCP整形技术---滑动窗口允许根据自己的接受速率动态调整窗口大小来调整发送方的数据传输速率
2.连接干扰（TCP）/信令干扰（UDP）
	连接干扰---根据数据流识别的结果，针对TCP流量，复制数据流的IP五元组信息，并交换源/目的IP、端口，伪造成为数据流连接的对端，发送标准的TCP  Reset/FIN数据包，中断该数据流连接，或者引发TCP重传，达到流量控制的目的。
	信令干扰---针对UDP流量，由于UDP为无状态协议，因此无法从4层对数据流进行干扰，只能通过7层的协议信令进行干扰，达到流量控制的目的。

应用控制技术对比：

流量控制组网模式：

1.直路串联流控模式：
	【1】串联在网络中，控制方式比较直接，可以灵活的对不同流量使用不同策略。
	【2】串联使得控制设备成为被控网络的一部分，控制设备可能会影响整个被控链路。
2.旁路干扰流控模式：
	【1】TCP截断，通过伪造并发送TCP  RST报文来截断TCP连接。
	【2】TCP降速，通过伪造并发送特殊sequence报文来减小TCP的滑动窗口值。
	【3】UDP截断，通过伪造并发送P2P应用层特殊控制命令方式来截断UDP连接。
	【4】UDP降速，通过伪造并发送P2P应用层特殊控制命令方式来降低UDP连接的传送速率。
	优势：对链路影响较小，可扩展性（扩展其他功能）较强
	劣势：目前只能对应地使用连接干扰、信令干扰技术进行数据流控制，控制能力受到较大影响

网络流量控制：

当前广泛部署的网络流量控制系统主要由四个部分：流量分类，队列管理，分组调度，流量整形。
1、流量分类：按照不同的优先级或控制策略，将数据包注入到不同队列。当前的流量分类技术主要分为基于端口、会话、内容的识别方式。
2、队列管理：指对网络传输节点中队列缓冲资源的管理和分配，即缓冲管理。通过控制队列的平均深度来避免拥塞发生。
3、分组调度：分类器根据分组的上下文和粒度确认它所在的队列，分组进入相应队列排队等候，直至调度器将其选择发送。可以控制不同类型的分组对链路带宽的利用，使不同的数据流得到不同等级的服务。
4、流量整形：使经过网络瓶颈的数据包平缓的注入主干网，减少数据包在边缘网关排队等待的时间，从而减少边缘网关缓存的大小和数据包丢失率。流量整形主要采用两种基本方法：漏桶算法和令牌桶算法。

SANGFOR流控原理

1、缓存流控：
		以前的流控的效果是通过直接丢包来实现的，导致了丢包率比较高，SANGFOR使用缓存的方式，可以有效的解决丢包的问题。
2、队列调度（HTB分层令牌桶）：
		可以使每个连接的数据包得到更为公平的调度。避免的因为某个连接速率过高导致其他连接得不到带宽的问题。使保证带宽更准确。
3、单用户流量的公平调度（UCFQ：User & Conn Fair Qdisc）：
		对当前有流量的用户进行公平调度，而不是根据在线用户进行带宽分配，因为在线的用户不一定有流量。对用户的流量进行公平调度，避免某个用户的流量很大，导致其他用户只能使用很少的带宽。保证同一通道的用户流量可以平均分配。
	流控通道匹配过程：
		【1】同级通道从上往下匹配
		【2】匹配到父通道后如果有下级子通道，则继续往下级匹配，直到匹配到最后一级
		【3】如果无法匹配到任何自定义的通道，则匹配到所在级别的默认通道
	流控通道优先级：
		【1】保证通道和限制通道都可以设置优先级
		【2】优先级别相同时，如果都需要借用带宽，则按照保证带宽的比例借用
		【3】优先级别不同，都需要借用带宽时，带宽优先给优先级高的通道使用，剩下的带宽才给低级别的通道借用。

链路负载：

1、链路负载需求背景：
	【1】不同运营商带宽质量不同:
	【2】带宽整体利用性不高：
	【3】自动化切换，避免繁琐配置：
	【4】传统策略路由只支持IP/端口选路:
	【5】链路负载的可视化管理：
2、默认负载策略支持以下6种机制：
	【1】禁用默认负载策略
	【2】优先使用优先级最高的线路
	【3】按运营商负载
	【4】剩余带宽
	【5】带宽比例
	【6】平均分配
3、优先负载策略支持一下3种机制：
	【1】指定线路
	【2】多线路负载：
					剩余带宽
					优先使用前面线路
					带宽比例
					平均分配
	【3】VPN做专线备份
4、各种负载方式解释：
	【1】平均分配：每个链路机会均等，依次被选中。
	【2】带宽比例：每条链路按照权值比例选择，权值大选中的机会大，权值小的选中的机会小。链路的权值以链路的带宽为基准。
	【3】剩余带宽：按权值比例分配流量，选择流量权值比最小的链路
	【4】优先使用前面的线路：实现链路备份，比如有链路一，链路二，链路三，将找到第一个存活链路作为出口

三、内容审计技术

应用识别技术实现审计功能：数据经过设备（或镜像），经过设备的顺序：基础识别（拆包）——认证——应用识别——行为识别——（讲解时候跳过防火墙和流控）——进入应用审计设备通过提取数据的必要信息，组成审计需要的结构，经过设备缓存区，分发到不同的审计功能插件进行处理。
上网审计技术实现审计功能：设备通过提取数据的必要信息，组成审计需要的结构（重组实现的好处，就是解决首包乱序的问题），经过设备缓存区，分发到不同的审计功能插件进行处理；设备界面上上网审计策略配置的 访问URL审计、下载文件名、发帖、外发web mail等等 这些每一个都是一个审计模块；设备通过提取数据的必要信息，组成审计需要的结构，经过设备缓存区，分发到不同的审计功能插件进行处理完成后，发送日志到日志中心， 按不同日志类型存储日志数据（例如A表表示应用行为）

SSL解密技术：

审计策略排查思路：

1、检查【策略管理】-【上网审计策略】-勾选【应用审计】，并且选择了对应的需要审计的内容
2、检查【上网审计策略】-【使用对象】是否正常匹配，可以在【在线用户管理】找到相应用户，查看用户匹配的策略是否有上网审计策略
3、对于https的网站或者加密邮件，是否有开启【策略管理】-【上网策略】-【SSL内容识别】并加入相关网址并匹配对应用户
4、检查【系统配置】-【全局排除地址】是否将用户全局排除
5、在数据中心里面，查询的时间是否正确

准入策略排查思路：

1、检查是否开启直通，全局地址排除
2、终端是否支持准入系统（只有window PC支持准入系统）
3、准入策略关联的用户是否在线，适用终端和区域是否正确