大家好，又见面了，我是你们的朋友全栈君。

一、端点检测与响应

端点：台式机、服务器、移动设备和嵌人式设备等。攻击者往往首先利用目标网络中的脆弱端点建立桥头堡，再通过进一步的漏洞利用来构筑长期驻留条件，最终迈向既定目标。
端点检测与响应（(Endpoint Detection and Response，EDR）：完全不同于以往的端点被动防护思路，而是通过云端威胁情报、机器学习、异常行为分析、攻击指示器等方式，主动发现来自外部或内部的安全威胁，并进行自动化的阻止、取证、补救和溯源，从而有效对端点进行防护。
举例：360天擎终端检测与响应系统，融入了360威胁情报、大数据安全分析等功能，可以实时检测用户端点的异常行为和漏洞，通过与360威胁情报对比，能够及时发现威胁，做出木马隔离和漏洞修补的安全响应。

二、EDR基本原理与框架

1、EDR定义

   端点检测和响应是一种主动式端点安全解决方案，通过记录终端与网络事件（例如用户，文件，进程，注册表，内存和网络事件），并将这些信息本地存储在端点或集中数据库。结合已知的攻击指示器(Indicators of Compromise，IOCs)、行为分析的数据库来连续搜索数据和机器学习技术来监测任何可能的安全威胁，并对这些安全威胁做出快速响应。还有助于快速调查攻击范围，并提供响应能力。
   一些调查结果：EDR解决方案必须能够检测的无文件恶意活动；EDR要具有可扩展的数据管理，数据挖掘分析能力和检测技术，要做到对不断变化的攻击者技术的深入了解。
   注：攻击指示器，IOC是一种入侵后可以取证的指标，以xml文档类型描述捕获多种威胁的事件响应信息，包括病毒文件的属性，注册表改变的特征，虚拟内存等。

2、EDR安全模型

   相比于传统端点安全防护采用预设安全策略的静态防御技术，EDR加强了威胁检测和响应取证能力，能够快速检测、识别、监控和处理端点事件，从而在威胁尚未造成危害前进行检测和阻止，帮助受保护网络免受零日威胁和各种新出现的威胁。安全模型如图所示：

   （1）资产发现：定期通过主动扫描、被动发现、手工录入和人工排查等多种方法收集当前网络中所有软硬件资产，包括全网所有的端点资产和在用的软件名称、版本，确保整个网络中没有安全盲点。
   （2）系统加固：定期进行漏洞扫描、补丁修复、安全策略设置和更新端点软件清单，通过软件白名单限制未经授权的软件运行，通过主机防火墙限制未经授权的服务端口开放，并定期检查和清理内部人员的账号和授权信息。
   （3）威胁检测：通过端点本地的主机入侵检测和借助云端威胁情报、异常行为分析、攻击指示器等方式，针对各类安全威胁，在其发生前、发生中、发生后进行相应的安全检测动作。
   （4）响应取证：针对全网的安全威胁进行可视化展示，能够针对安全威胁自动化地进行隔离、修复和补救，自动完成安全威胁的调查、分析和取证工作，降低事件响应和取证分析的技术门槛，不需要依赖于外部专家即可完成快速响应和取证分析。
可以说必备功能：
   （1）调查安全事件；
   （2）将端点修复为预感染状态；
   （3）检测安全事件；
   （4）包含终端事件；
EDR的四种能力：
   （1）预测：risk assessment（风险评估）；anticipate threats（预测威胁）；baseline security posture（基线安全态势）。
   （2）防护：harden systems（强化系统）；isolate system（隔离系统）；prevent attacks（防止攻击）。
   （3）检测：detect incidents（检测事件）；confirm and prioritize risk（确认风险并确定优先顺序）。contain incidents（包含事件）。
   （4）响应：remediate（补救）；design policy change（设计规则变更）；investigate incidents（调查事件）。

3、EDR 是如何工作的？

   （1）一旦安装了 EDR 技术，它就会使用先进的算法来分析系统上单个用户的行为，允许它记住和连接他们的活动。 （检测）
   （2）感知到你系统中某个特定用户的异常行为。 数据会立即被过滤、丰富和监控，以防出现恶意行为的迹象。 这些迹象触发了警报，调查就开始了ーー确定攻击是真是假。（调查）
   （3）如果检测到恶意活动，算法将跟踪攻击路径并将其构建回入口点。 （关联跟踪）
   （4）然后，该技术将所有数据点合并到称为恶意操作(MalOps)的窄类别中，使分析人员更容易查看。 （可视化）
   （5）在发生真正的攻击事件时，客户会得到通知，并得到可采取行动的响应步骤和建议，以便进行进一步调查和高级取证。 如果是误报，则警报关闭，只增加调查记录，不会通知客户。（处理）

4、EDR体系框架

   EDR的核心在于：一方面，利用已有的黑名单和基于病毒特征的端点静态防御技术来阻止已知威胁。另一方面，通过云端威胁情报、机器学习、异常行为分析、攻击指示器等方式，主动发现来自外部或内部的各类安全威胁。同时，基于端点的背景数据、恶意软件行为以及整体的高级威胁的生命周期的角度进行全面的检测和响应，并进行自动化阻止、取证、补救和溯源，从而有效地对端点进行安全防护。
   EDR包括：端点、端点检测与响应中心、可视化展现三个部分，体系框架如图所示：

   （1）端点：在EDR中，端点只具备信息上报、安全加固、行为监控、活动文件监控、快速响应和安全取证等基本功能，负责向端点检测与响应中心上报端点的运行信息，同时执行下发的安全策略和响应、取证指令等。
   （2）端点检测与响应中心：由资产发现、安全加固、威胁检测、响应取证等中心组成。
   A、资产发现中心：侧重于主动发现全网端点软硬件资源，掌握全网所有端点和软件使用情况，确保安全无盲区。
   B、安全加固中心：依托于第三方机构提供的安全加固资源和威胁情报，为全网端点提供漏洞扫描和加固服务。
   C、威胁检测中心：收集全网端点的用户登录、软件安装卸载、软件加载退出、网络访问、端点网络流量、硬盘文件操作、数据输入输出、外设使用等各类运行信息。然后由机器学习引擎自动生成用户正常行为知识库，引入和训练生成恶意行为特征库；而异常行为检测引擎基于正常行为知识库和恶意行为特征库主动发现来自外部或内部的各类安全威胁；沙箱分析引擎负责对端点提交的未知威胁文件进行自动化安全性析；大数据分析引擎负责对全网端点的运行数据进行关联分析，确定被攻击对象、攻击步骤、攻击范围和破坏程度。
   D、响应取证中心：依赖于应急响应知识库对安全威胁进行自动化隔离、修复和补救，具体措施包括端点与网络隔离、硬盘陕照还原、恶意代码清理、补丁修复和软件升级等，自动完成安全威胁的调查、分析和取证工作，辅助用户确定安全威胁的来源、危害等级、危害对象、危害范围和影响。
   （3）可视化：展现针对各类端点安全威胁提供实时的可视性、可控性，降低发现和处置安全威胁的复杂度，辅助用户更加快速、智能地应对安全威胁。

5、EDR 能够检测到什么类型的威胁

   EDR 保护用户免受无文件型的恶意软件，恶意脚本，或被窃取的用户凭证的攻击。 它被设计用来跟踪攻击者使用的技术、策略和过程。 但是它还有更深的含义。 它不仅可以了解攻击者如何侵入你的网络，还可以检测他们的活动路径: 他们如何了解你的网络，如何转移到其他机器上，并试图在攻击中实现他们的目标。 你可以避免以下情况:
   （1）恶意软件(犯罪软件、勒索软件等)
   （2） 无文件型攻击
   （3）滥用合法应用程序
   （4）可疑的用户活动和行为

6、EDR 的要素是什么，收集的信息是什么？

   （1）EDR 是独一无二的，因为它的算法不仅可以检测和打击威胁，还可以简化警报和攻击数据的管理。 使用行为分析来实时分析用户活动，可以在不干扰端点的情况下立即检测潜在威胁。 它通过将攻击数据合并到可以分析的事件中，与防病毒和其他工具一起使用可以为你提供一个安全的网络，从而增强了取证分析的能力。
   （2）端点检测和响应通过安装在端点上的传感器运行而不需要重新启动。 所有这些数据被拼接在一起，形成了一个完整的端点活动图，无论设备位于何处。

7、EDR 与安全分析师

   在检测、路径分析和横向移动阶段不需要人为因素。 对收集到的数据集进行分析和解释仍然很重要，但在检测到的事件的最初几秒钟内并不重要。 这样就可以加强对网络的保护，并允许安全分析师调查合法的威胁，而不是通过误报进行过滤。 由于使用 EDR 和 MalOps 对数据进行了整合，因此理解、诊断和补救问题更加容易和直观。 这使得分析师能够调查并提供合法威胁的解决方案。

三、主要技术

1、智能沙箱技术

   沙箱(Sandbox)：是针对可疑代码进行动态行为分析的关键技术，通过模拟各类虚拟资源，创建严格受控和高度隔离的程序运行环境，运行并提取可疑代码运行过程中的行为信息，实现对未知恶意代码的快速识别。
   支撑沙箱隔离的技术是重定向技术：重定向技术就是在可疑代码样本的地址空间中拦截相关操作，并将可能导致的更改重定位到虚拟资源(虚拟文件系统、虚拟硬件系统、虚拟注册表系统、句柄虚拟化)之上。通过重定向技术，恶意代码的任何修改都不会破坏到真实的用户系统。智能沙箱的检测包括了静态分析、动态分析以及相应智能数据解析几个过程，最终形成输出报告，判定可疑代码的安全属性。智能沙箱工作原理，如图：

2、机器学习技术

   机器学习：是一门多学科交叉知识，是人工智能领域的核心，专门研究计算机如何模拟实现人类的学习行为，通过获取新的技能知识重组已有的知识体系，并不断完善自身性能。在大规模数掘处理中，可以自动分析获得规律，然后利用这些规律预测未知的数据。
   机器学习算法的分类应用步骤：分类器训练和模型检测。首先利用训练集文件的向量模型及其类别标记生成分类器，其次利用分类模型对待检测数掘进行分类检测，通过将分类结来与真实样本数掘进行比对，评估分类器的效果，最后根据结果进一步完善分类器。
   EDR中的机器学习：在EDR中，机器学习主要应用于端点用户和软件的正常行为和异常行为的提取，通过捕获大量的端点静态和动态的用户和软件行为特征向量，采用机器学习的思想进行端点用户和软件行为的训练建模和分类检测，得出该使用场景下用户和软件的正常和异常行为知识库，而利用知识库可以更加高效地检测出端点的异常行为。机器学习工作原理，如图4所示：

3、大数据关联分析

   用途：在EDR中，端点采集的各类安全运行数据是终端安全工作中防御、检测和响应的重要依据。对海量终端安全数据进行自动智能化的关联分析，追溯其攻击过程，寻找漏洞源和攻击源，是有效防御和确保终端安全的重要途径和方法。
   主要目标：大数据关联分析的主要目标是不丢失终端安全相关的重要信息，并通过分析原始终端安全数据而形成全局、缜密、连贯的攻击视图。
   针对APT：为应对APT攻击的极强持续性和阶段性，关联分析过程中应尽量收集各层面、各阶段的全方位信息，同时适量将时间窗口拉大，通过宽时间域数据分析提取具有内在关联的若干属性，识别出攻击发生的时间、地点、攻击类型和强度等信息。

4、攻击场景重构技术

   定义：通过对攻击者一次完整的攻击行为所采用的攻击步骤进行关联分析，根据检测到攻击发生的时间序列，将该次完整的攻击的每一步攻击步骤以图形的形式重新表示出来，称为攻击场景的重构。
   在EDR中，攻击场景重构通过对关联规则及知识的形式化表述，将庞杂，无序的安全数据流转换为结构化、易于理解的攻击场景，将反映攻击过程和意图的场景图呈现出来，发现攻击者的攻击策略和目的，甚至推测漏报的告警和预测下一步可能的攻击行为，以协助管理人员获取更有价值的网络安全信息。

5、数字取证技术

   数字取证是指对具有足够可靠和有说服力的，存在于计算机、网络、电子设备等数字设备中的数字证据，进行确认、保护、提取和归档的过程。在EDR中，数字取证要克服云计算环境取证、智能终端取证、大数据取证等关键技术，自动定位和采集端点人侵电子证据，降低取证分析的技术门槛，提高取证效率及其分析结果的准确性，为端点安全事件调查、打击网络犯罪提供技术支持。

三、EDR的优势及局限性分析

1、优点

   EDR针对各类安全威胁提供持续的可栅l生、可控性，降低了发现和处置安全威胁的复杂度，辅助安全团队更加快速、智能地应对安全威胁，是解决网络空间的高级持续性威胁的有力手段。它具备的优势可以归结为以下几点：
   （1）EDR具有精准识别攻击的先天优势。端点是攻防对抗的主战场，通过EDR在端点上实施防御能够更加全面地搜集安全数据，精准地识别安全威胁，准确判定安全攻击是否成功，准确还原安全事件发生过程。
   （2）EDR完整覆盖端点安全防御全生命周期。对于各类安全威胁事件，EDR在其发生前、发生中、发生后均能够进行相应的安全检测和响应动作。安全事件发生前，实时主动采集端 安全数据和针对性地进行安全加固；安全事件发生时，通过异常行为检测、智能沙箱分析等各类安全引擎，主动发现和阻止安全威胁；安全事件发生后，通过端点数据追踪溯源。
   （3）EDR能够兼容各类网络架构。EDR能够广泛适应传统计算机网络、云计算、边缘计算等各类网络架构，能够适用于各种类型的端点，且不受网络和数据加密的影响。
   （4）EDR辅助管理员智能化应对安全威胁。EDR对安全威胁的发现、隔离、修复、补救、调查、分析和取证等一系列工作均可自动化完成，大大降低了发现和处置安全威胁的复杂度，能够辅助用户更加快速、智能地应对安全威胁。

2、局限性

   EDR的局限性在于并不能完全取代现有的端点安全防御技术。EDR与防病毒、主机防火墙、主机入侵检测、补丁加固、外设管控、软件白名单等传统端点安全防御技术属于互补关系，并不是取代关系。

四、发展前景

   EDR借助云计算和人工智能，将安全措施从被动的威胁防御方法转换为在威胁尚未造成危害之前检测和防御威胁，以扭转端点安全防御长期处于被动局面。同时，EDR可以应用于台式机、服务器、笔记本、移动设备、嵌入式设备、SCADA系统甚至IoT设备，应用前景广泛。可以预见，EDR将成为端点安全防御的主流技术，并占据主流市场。

五、需要的一些技术

   熟悉Linux环境，python或shell，Java；
   熟悉hadoop，spark等大数据组件；
   熟悉数据挖掘与分析（比如进行风险等级划分），数据统计技术（比如一些置信度的计算），机器学习技术（分类检测等），深度学习技术，大数据分析技术（主要是关联分析），漏斗分析法等。
   熟悉mysql或nosql数据库，集中存储的数据库，分布式存储的数据库。

注：
■文件（例如，创建，重命名，删除，写入，读取，路径，文件属性，文件大小，创建和修改日期，版本，文件散列，证书）
■脚本和命令参数（例如，CMD和PowerShell用法）
■注册表（例如，创建，读取，覆盖，删除，擦除，重命名）
■网络（例如，IP地址端口协议，DSN查询字节）
■进程/线程（创建终止，注入，父子关系）
■DLL / COM（加载注入）
■Windows用户帐户（登录，注销，用户名，域登录时间，域，密码年龄，权限）
■互斥（打开，创建）
■自动运行更改
■计划任务
■机器信息（机器名称，操作系统版本，平台架构，时区）
■系统安装点（驱动器盘符，设备名称，卷名称，介质类型）■配置更改（例如禁用UAC，禁用防病毒，禁用防火墙，禁用自动更新）
集成与级联：理想情况下，任何检测解决方案都将使用这些检测技术的组合来提高准确性。每个检测引擎都应该通知下一个，并会提高最终结果的准确性。