深入理解IDS,IPS的工作原理和机制.doc

1、IDS，IPS 的工作原理和机制本文首先分别介绍了入侵检测机制 IDS（Intrusion Detection System）和入侵防御机制IPS（ Intrusion Prevention System）的工作原理和实现机制。然后深入讨论了 IDS 和 IPS 的区别和各自的应用场景等。 概述防火墙是实施访问控制策略的系统，对流经的网络流量进行检查，拦截不符合安全策略的数据包。入侵检测技术(IDS)通过监视网络或系统资源，寻找违反安全策略的行为或攻击迹象，并发出报警。传统的防火墙旨在拒绝那些明显可疑的网络流量，但仍然允许某些流量通过，因此防火墙对于很多入侵攻击仍然无计可施。绝大多数 IDS

2、系统都是被动的，而不是主动的。也就是说，在攻击实际发生之前，它们往往无法预先发出警报。而 IPS 则倾向于提供主动防护，其设计宗旨是预先对入侵活动和攻击性网络流量进行拦截，避免其造成损失，而不是简单地在恶意流量传送时或传送后才发出警报。IPS 是通过直接嵌入到网络流量中实现这一功能的，即通过一个网络端口接收来自外部系统的流量，经过检查确认其中不包含异常活动或可疑内容后，再通过另外一个端口将它传送到内部系统中。这样一来，有问题的数据包，以及所有来自同一数据流的后续数据包，都能在 IPS 设备中被清除掉。 IDS基本定义当越来越多的公司将其核心业务向互联网转移的时候，网络安全作为 一个无法回避的问

3、题摆在人们面前。公司一般采用防火墙作为安全的第一 道防线。 而随着攻击者技能的日趋成熟， 攻击工具与手法的日趋复杂多样， 单纯的防火墙策略已经无法满足对安全高度敏感的部门的需要，网络的防卫必须采用一种纵深的、多样的手段。与此同时，目前的网络环境也变得 越来越复杂，各式各样的复杂的设备，需要不断升级、补漏的系统使得网 络管理员的工作不断加重，不经意的疏忽便有可能造成重大的安全隐患。 在这种情况下，入侵检测系统 IDS（Intrusion Detection System）就成了 构建网络安全体系中不可或缺的组成部分。 IDS 是英文 “Intrusion Detection Systems”的缩

4、写， 中文意思是“入 Intrusion 侵检测系统 ”。专业上讲就是依照一定的安全策略，通过软、硬件，对网 络、系统的运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者 攻击结果，以保证网络系统资源的机密性、完整性和可用性。 做一个形象的比喻：假如防火墙是一幢大楼的门锁，那么 IDS 就是这 幢大楼里的监视系统。一旦小偷爬窗进入大楼，或内部人员有越界行为，只有实时监视系统才能发现情况并发出警告。IDS 的起源1980 年，James P. Anderson 的计算机安全威胁监控与监视 (Computer Security Threat Monitoring and Surveillanc

5、e) 第一次详细阐述了入侵检测的概念 ;提出计算机系统威胁分类;提出了 利用审计跟踪数据监视入侵活动的思想; 此报告被公认为是入侵检测的开 山之作。1984 年到 1986 年，乔治敦大学的 Dorothy Denning 和 SRI/CSL 的 Peter Neumann 研究出了一个实时入侵检测系统模型-IDES(入侵检测专家 系统) 。1990 年，加州大学戴维斯分校的 L. T. Heberlein 等人开发出了 NSM(Network Security Monitor) 该系统第一次直接将网络流作为审计数据来源，因而可以在不将审计 数据转换成统一格式的情况下监控异种主机 入侵检测系统

6、发展史翻开了新的一页，两大阵营正式形成：基于网络 的 IDS 和基于主机的 IDS 。1988 年之后，美国开展对分布式入侵检测系统(DIDS)的研究，将基 于主机和基于网络的检测方法集成到一起。DIDS 是分布式入侵检测系统历 史上的一个里程碑式的产品。从 20 世纪 90 年代到现在，入侵检测系统的研发呈现出百家争鸣的 繁荣局面，并在智能化和分布式两个方向取得了长足的进展。入侵检测的原理入侵检测可分为实时入侵检测和事后入侵检测两种。 实时入侵检测在网络连接过程中进行，系统根据用户的历史行为模型、 存储在计算机中的专家知识以及神经网络模型对用户当前的操作进行判断， 一旦发现入侵迹象立即断开入

7、侵者与主机的连接，并收集证据和实施数据 恢复。这个检测过程是不断循环进行的。而事后入侵检测则是由具有网络 安全专业知识的网络管理人员来进行的，是管理员定期或不定期进行的， 不具有实时性，因此防御入侵的能力不如实时入侵检测系统。入侵检测的通信协议IDS 系统组件之间需要通信，不同的厂商的 IDS 系统之间也需要通信。 因此，定义统一的协议，使各部分能够根据协议所制订的标准进行沟通是 很有必要的。IETF 目前有一个专门的小组 IDWG（Intrusion Detection Working Group）负责定义这种通信格式，称作 Intrusion Detection Exchange Form

8、at。目前只有相关的草案，并未形成正式的 RFC 文档。尽管 如此，草案为 IDS 各部分之间甚至不同 IDS 系统之间的通信提供层协议， 其设计多其他功能（如可从任意端发起连接，结合了加密、身份验证等） 。入侵检测的分类按入侵检测的手段、 IDS 的入侵检测模型可分为基于网络和基于主机两种。 基于主机模型。也称基于系统的模型，它是通过分析系统的审计数据来发现可疑的活 动，如内存和文件的变化等。其输入数据主要来源于系统的审计日志，一 般只能检测该主机上发生的入侵。 这种模型有以下优点： 一是性能价格比高：在主机数量较少的情况下，这种方法的性能价格 比可能更高。 二是更加细致： 这种方法可以很容

9、易地监测一些活动，如对敏感文件、 目录、程序或端口的存取，而这些活动很难在基于协议的线索中发现。 三是视野集中：一旦入侵者得到了一个主机用户名和口令，基于主机 的代理是最有可能区分正常的活动和非法的活动的。 四是易于用户剪裁：每一个主机有其自己的代理，当然用户剪裁更方 便了。 五是较少的主机：基于主机的方法有时不需要增加专门的硬件平台。 六是对网络流量不敏感：用代理的方式一般不会因为网络流量的增加 而丢掉对网络行为的监视。基于网络的模型 ） 即通过连接在网络上的站点捕获网上的包，并分析其是否具有已知的 攻击模式，以此来判别是否为入侵者。当该模型发现某些可疑的现象时也 一样会产生告警，并会向一个

10、中心管理站点发出“告警”信号。 基于网络的检测有以下优点： 基于网络的检测有以下优点 ： 一是侦测速度快：基于网络的监测器通常能在微秒或秒级发现问题。 而大多数基于主机的产品则要依靠对最近几分钟内审计记录的分析。二是隐蔽性好：一个网络上的监测器不像一个主机那样显眼和易被存取，因而也不那么容易遭受攻击。三是视野更宽：基于网络的方法甚至可以作用在网络的边缘上，即攻击者还没能接入网络时就被制止。 四是较少的监测器：由于使用一个监测器就可以保护一个共享的网段，所以你不需要很多的监测器。五是占资源少：在被保护的设备上不用占用任何资源入侵检测的技术途径（1） 入侵检测的第一步 ： 信息收集入侵检测的第一步

11、： 收集的内容包括系统、网络、数据及用户活动的状态和行为。收集信 息需要在计算机网络系统中不同的关键点来进行，这样一方面可以尽可能 扩大检测范围，另一方面从几个信源来的信息的不一致性是可疑行为或入 侵的最好标识，因为有时候从一个信源来的信息有可能看不出疑点。入侵检测利用的信息一般来自以下四个方面： 1 ） 系统日志 黑客经常在系统日志中留下他们的踪迹，因此，充分利用系统日志是 检测入侵的必要条件。日志文件中记录了各种行为类型，每种类型又包含 不同的信息，很显然地，对用户活动来讲，不正常的或不期望的行为就是 重复登录失败、登录到不期望的位置以及非授权的企图访问重要文件等等。 2 ） 目录以及文件

12、中的异常改变 网络环境中的文件系统包含很多软件和数据文件，包含重要信息的文 件和私有数据文件经常是黑客修改或破坏的目标。 3 ） 程序执行中的异常行为 网络系统上的程序执行一般包括操作系统、网络服务、用户启动的程 序和特定目的的应用，例如数据库服务器。每个在系统上执行的程序由一 到多个进程来实现。每个进程执行在具有不同权限的环境中，这种环境控 制着进程可访问的系统资源、程序和数据文件等。一个进程出现了不期望 的行为可能表明黑客正在入侵你的系统。黑客可能会将程序或服务的运行 分解，从而导致运行失败，或者是以非用户或非管理员意图的方式操作。 4 ） 物理形式的入侵信息 这包括两个方面的内容，一是未

13、授权的对网络硬件连接；二是对物理 资源的未授权访问。（2） 入侵检测的第二步 ： 数据分析入侵检测的第二步： 一般通过三种技术手段进行分析： 模式匹配， 统计分析和完整性分析。 其中前两种方法用于实时的入侵检测，而完整性分析则用于事后分析。 1 ） 模式匹配，模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据 库进行比较，从而发现违背安全策略的行为。该方法的一大优点是只需收集相关的数据集合，显著减少系统负担，且技术已相当成熟。它与病毒防 火墙采用的方法一样，检测准确率和效率都相当高。但是，该方法存在的 弱点是需要不断的升级以对付不断出现的黑客攻击手法，不能检测以前从 未出现过的黑客攻

14、击手段。 2）统计分析 统计分析方法首先给系统对象（如用户、文件、目录和设备等）创建 一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败 次数和延时等） 。测量属性的平均值将被用来与网络、系统的行为进行比 较，任何观察值如果超过了正常值范围，就认为有入侵发生。其优点是可 检测到未知的入侵和更为复杂的入侵，缺点是误报、漏报率高，且不适应 用户正常行为的突然改变。具体的统计分析方法如基于专家系统的、基于模型推理的和基于神经网络的分析方法，这在前面入侵检测的分类中已经 提到。下面只对统计分析的模型做以介绍。 种统计模型为：入侵检测 5 种统计模型为 ： 操作模型：该模型假设异常可通过测

15、量结果与一些固定指标相比较得 到，固定指标可以根据经验值或一段时间内的统计平均得到，举例来说， 在短时间内多次失败的登录很有可能是尝试口令攻击； 方差：计算参数的方差并设定其置信区间，当测量值超过置信区间的 范围时表明有可能是异常； 多元模型：即操作模型的扩展，它通过同时分析多个参数实现检测； 马尔柯夫过程模型：即将每种类型的事件定义为系统状态，用状态转 移矩阵来表示状态的变化，当一个事件发生时，如果在状态矩阵中该转移 的概率较小则该可能是异常事件； 时间序列分析：即将事件计数与资源耗用根据时间排成序列，如果一 个新事件在该时间发生的概率较低，则该事件可能是入侵。 统计方法的最大优点是它可以“

16、学习”用户的使用习惯，从而具有较 高检出率与可用性。但是它的“学习”能力有时也会给入侵者以机会，因 为入侵者可以通过逐步“训练”使入侵事件符合正常操作的统计规律，从 而透过入侵检测系统。 3 ） 完整性分析 完整性分析主要关注某个文件或对象是否被更改，这经常包括文件和 目录的内容及属性，它在发现被修改成类似特洛伊木马的应用程序方面特 别有效。其优点是不管模式匹配方法和统计分析方法能否发现入侵，只要 是有入侵行为导致了文件或其他对象的任何改变，它都能够发现。缺点是 一般以批处理方式实现，不用于实时响应。IDS 趋势从现实来看，市场上所大行其道的 ids 产品价格从数十万到数百万不 等，这种相对昂

17、贵的奶酪被广为诟病，所导致的结果就是：一般中小企业 并不具备实施 ids 产品的能力，它们的精力会放在路由器、防火墙以及 3 层以上交换机的加固上；大中型企业虽然很多已经上了 IDS 产品，但 IDS 天然的缺陷导致其似乎无所作为。但还不能就此喜新厌旧，因为 ids 是必 需的一个过程，具有 IDS 功能 IPS 很可能在几年后彻底取代单一性 ids 的市场主导地位，从被动应战到主动防御是大势所趋。 IPSIPS 工作原理IPS 实现实时检查和阻止入侵的原理在于 IPS 拥有数目众多的过滤器，能够防止各种攻击。当新的攻击手段被发现之后，IPS 就会创建一个新的过滤器。IPS 数据包处理引擎是专

18、业化定制的集成电路，可以深层检查数据包的内容。如果有攻击者利用 Layer 2(介质访问控制) 至 Layer 7(应用)的漏洞发起攻击，IPS 能够从数据流中检查出这些攻击并加以阻止。传统的防火墙只能对 Layer 3 或 Layer 4 进行检查，不能检测应用层的内容。防火墙的包过滤技术不会针对每一字节进行检查，因而也就无法发现攻击活动，而 IPS 可以做到逐一字节地检查数据包。所有流经 IPS 的数据包都被分类，分类的依据是数据包中的报头信息，如源 IP 地址和目的 IP 地址、端口号和应用域。每种过滤器负责分析相对应的数据包。通过检查的数据包可以继续前进，包含恶意内容的数据包就会被丢弃

19、，被怀疑的数据包需要接受进一步的检查。针对不同的攻击行为，IPS 需要不同的过滤器。每种过滤器都设有相应的过滤规则，为了确保准确性，这些规则的定义非常广泛。在对传输内容进行分类时，过滤引擎还需要参照数据包的信息参数，并将其解析至一个有意义的域中进行上下文分析，以提高过滤准确性。过滤器引擎集合了流水和大规模并行处理硬件，能够同时执行数千次的数据包过滤检查。并行过滤处理可以确保数据包能够不间断地快速通过系统，不会对速度造成影响。这种硬件加速技术对于 IPS 具有重要意义，因为传统的软件解决方案必须串行进行过滤检查，会导致系统性能大打折扣。IPS 的种类*基于主机的入侵防护(HIPS)HIPS 通过

20、在主机/服务器上安装软件代理程序，防止网络攻击入侵操作系统以及应用程序。基于主机的入侵防护能够保护服务器的安全弱点不被不法分子所利用。Cisco 公司的Okena、NAI 公司的 McAfee Entercept、冠群金辰的龙渊服务器核心防护都属于这类产品，因此它们在防范红色代码和 Nimda 的攻击中，起到了很好的防护作用。基于主机的入侵防护技术可以根据自定义的安全策略以及分析学习机制来阻断对服务器、主机发起的恶意入侵。HIPS 可以阻断缓冲区溢出、改变登录口令、改写动态链接库以及其他试图从操作系统夺取控制权的入侵行为，整体提升主机的安全水平。在技术上，HIPS 采用独特的服务器保护途径，利

21、用由包过滤、状态包检测和实时入侵检测组成分层防护体系。这种体系能够在提供合理吞吐率的前提下，最大限度地保护服务器的敏感内容，既可以以软件形式嵌入到应用程序对操作系统的调用当中，通过拦截针对操作系统的可疑调用，提供对主机的安全防护;也可以以更改操作系统内核程序的方式，提供比操作系统更加严谨的安全控制机制。由于 HIPS 工作在受保护的主机/ 服务器上，它不但能够利用特征和行为规则检测，阻止诸如缓冲区溢出之类的已知攻击，还能够防范未知攻击，防止针对 Web 页面、应用和资源的未授权的任何非法访问。HIPS 与具体的主机/ 服务器操作系统平台紧密相关，不同的平台需要不同的软件代理程序。* 基于网络的

22、入侵防护(NIPS)NIPS 通过检测流经的网络流量，提供对网络系统的安全保护。由于它采用在线连接方式，所以一旦辨识出入侵行为，NIPS 就可以去除整个网络会话，而不仅仅是复位会话。同样由于实时在线，NIPS 需要具备很高的性能，以免成为网络的瓶颈，因此 NIPS 通常被设计成类似于交换机的网络设备，提供线速吞吐速率以及多个网络端口。NIPS 必须基于特定的硬件平台，才能实现千兆级网络流量的深度数据包检测和阻断功能。这种特定的硬件平台通常可以分为三类：一类是网络处理器(网络芯片) ，一类是专用的 FPGA 编程芯片，第三类是专用的 ASIC 芯片。在技术上，NIPS 吸取了目前 NIDS 所有

23、的成熟技术，包括特征匹配、协议分析和异常检测。特征匹配是最广泛应用的技术，具有准确率高、速度快的特点。基于状态的特征匹配不但检测攻击行为的特征，还要检查当前网络的会话状态，避免受到欺骗攻击。协议分析是一种较新的入侵检测技术，它充分利用网络协议的高度有序性，并结合高速数据包捕捉和协议分析，来快速检测某种攻击特征。协议分析正在逐渐进入成熟应用阶段。协议分析能够理解不同协议的工作原理，以此分析这些协议的数据包，来寻找可疑或不正常的访问行为。协议分析不仅仅基于协议标准(如 RFC)，还基于协议的具体实现，这是因为很多协议的实现偏离了协议标准。通过协议分析，IPS 能够针对插入(Insertion) 与

24、规避(Evasion)攻击进行检测。异常检测的误报率比较高，NIPS 不将其作为主要技术。* 应用入侵防护(AIP)NIPS 产品有一个特例，即应用入侵防护(Application Intrusion Prevention，AIP)，它把基于主机的入侵防护扩展成为位于应用服务器之前的网络设备。AIP 被设计成一种高性能的设备，配置在应用数据的网络链路上，以确保用户遵守设定好的安全策略，保护服务器的安全。NIPS 工作在网络上，直接对数据包进行检测和阻断，与具体的主机 /服务器操作系统平台无关。NIPS 的实时检测与阻断功能很有可能出现在未来的交换机上。随着处理器性能的提高，每一层次的交换机都有

25、可能集成入侵防护功能。IPS 技术特征嵌入式运行：只有以嵌入模式运行的 IPS 设备才能够实现实时的安全防护，实时阻拦所有可疑的数据包，并对该数据流的剩余部分进行拦截。深入分析和控制：IPS 必须具有深入分析能力，以确定哪些恶意流量已经被拦截，根据攻击类型、策略等来确定哪些流量应该被拦截。入侵特征库：高质量的入侵特征库是 IPS 高效运行的必要条件，IPS 还应该定期升级入侵特征库，并快速应用到所有传感器。高效处理能力：IPS 必须具有高效处理数据包的能力，对整个网络性能的影响保持在最低水平。IPS 面临的挑战IPS 技术需要面对很多挑战，其中主要有三点：一是单点故障，二是性能瓶颈，三是误报和

26、漏报。设计要求 IPS 必须以嵌入模式工作在网络中，而这就可能造成瓶颈问题或单点故障。如果 IDS 出现故障，最坏的情况也就是造成某些攻击无法被检测到，而嵌入式的IPS 设备出现问题，就会严重影响网络的正常运转。如果 IPS 出现故障而关闭，用户就会面对一个由 IPS 造成的拒绝服务问题，所有客户都将无法访问企业网络提供的应用。即使 IPS 设备不出现故障，它仍然是一个潜在的网络瓶颈，不仅会增加滞后时间，而且会降低网络的效率，IPS 必须与数千兆或者更大容量的网络流量保持同步，尤其是当加载了数量庞大的检测特征库时，设计不够完善的 IPS 嵌入设备无法支持这种响应速度。绝大多数高端 IPS 产品

27、供应商都通过使用自定义硬件 (FPGA、网络处理器和 ASIC 芯片) 来提高 IPS 的运行效率。误报率和漏报率也需要 IPS 认真面对。在繁忙的网络当中，如果以每秒需要处理十条警报信息来计算，IPS 每小时至少需要处理 36,000 条警报，一天就是 864,000 条。一旦生成了警报，最基本的要求就是 IPS 能够对警报进行有效处理。如果入侵特征编写得不是十分完善，那么“ 误报“ 就有了可乘之机，导致合法流量也有可能被意外拦截。对于实时在线的 IPS 来说，一旦拦截了 “攻击性“数据包，就会对来自可疑攻击者的所有数据流进行拦截。如果触发了误报警报的流量恰好是某个客户订单的一部分，其结果可

28、想而知，这个客户整个会话就会被关闭，而且此后该客户所有重新连接到企业网络的合法访问都会被“尽职尽责“的 IPS 拦截。 IDS 和 IPS 的区别IPS 对于初始者来说，是位于防火墙和网络的设备之间的设备。这样，如果检测到攻击，IPS 会在这种攻击扩散到网络的其它地方之前阻止这个恶意的通信。而 IDS 只是存在于你的网络之外起到报警的作用，而不是在你的网络前面起到防御的作用。IPS 检测攻击的方法也与 IDS 不同。一般来说，IPS 系统都依靠对数据包的检测。IPS将检查入网的数据包，确定这种数据包的真正用途，然后决定是否允许这种数据包进入你的网络。目前无论是从业于信息安全行业的专业人士还是普

29、通用户，都认为入侵检测系统和入侵防御系统是两类产品，并不存在入侵防御系统要替代入侵检测系统的可能。但由于入侵防御产品的出现，给用户带来新的困惑：到底什么情况下该选择入侵检测产品，什么时候该选择入侵防御产品呢?从产品价值角度讲：入侵检测系统注重的是网络安全状况的监管。入侵防御系统关注的是对入侵行为的控制。与防火墙类产品、入侵检测产品可以实施的安全策略不同，入侵防御系统可以实施深层防御安全策略，即可以在应用层检测出攻击并予以阻断，这是防火墙所做不到的，当然也是入侵检测产品所做不到的。从产品应用角度来讲：为了达到可以全面检测网络安全状况的目的，入侵检测系统需要部署在网络内部的中心点，需要能够观察到所

30、有网络数据。如果信息系统中包含了多个逻辑隔离的子网，则需要在整个信息系统中实施分布部署，即每子网部署一个入侵检测分析引擎，并统一进行引擎的策略管理以及事件分析，以达到掌控整个信息系统安全状况的目的。而为了实现对外部攻击的防御，入侵防御系统需要部署在网络的边界。这样所有来自外部的数据必须串行通过入侵防御系统，入侵防御系统即可实时分析网络数据，发现攻击行为立即予以阻断，保证来自外部的攻击数据不能通过网络边界进入网络。入侵检测系统的核心价值在于通过对全网信息的分析，了解信息系统的安全状况，进而指导信息系统安全建设目标以及安全策略的确立和调整，而入侵防御系统的核心价值在于安全策略的实施对黑客行为的阻击

31、;入侵检测系统需要部署在网络内部，监控范围可以覆盖整个子网，包括来自外部的数据以及内部终端之间传输的数据，入侵防御系统则必须部署在网络边界，抵御来自外部的入侵，对内部攻击行为无能为力。 总结IPS 的不足并不会成为阻止人们使用 IPS 的理由，因为安全功能的融合是大势所趋，入侵防护顺应了这一潮流。对于用户而言，在厂商提供技术支持的条件下，有选择地采用IPS，仍不失为一种应对攻击的理想选择。IPS 厂商采用各种方式加以解决。一是综合采用多种检测技术，二是采用专用硬件加速系统来提高 IPS 的运行效率。尽管如此，为了避免 IPS 重蹈 IDS 覆辙，厂商对 IPS 的态度还是十分谨慎的。例如，NAI 提供的基于网络的入侵防护设备提供多种接入模式，其中包括旁路接入方式，在这种模式下运行的 IPS 实际上就是一台纯粹的 IDS 设备，NAI 希望提供可选择的接入方式来帮助用户实现从旁路监听向实时阻止攻击的自然过渡。