An Intrusion Detection Method Based on Hierarchical Hidden Markov Models

This paper presents an anomaly detection approach to detect intrusions into computer systems. In this approach, a hierarchical hidden Markov model （HHMM） is used to represent a temporal profile of normal behavior in a computer system. The HHMM of the norm profile is learned from historic data of the system＇s normal behavior. The observed behavior of the system is analyzed to infer the probability that the HHMM of the norm profile supports the observed behavior. A low probability of support indicates an anomalous behavior that may result from intrusive activities. The model was implemented and tested on the UNIX system call sequences collected by the University of New Mexico group. The testing results showed that the model can clearly identify the anomaly activities and has a better performance than hidden Markov model.

基于改进遗传算法和隐Markov模型的协议异常检测方法

针对现有基于隐Markov模型的协议异常检测方法中存在的训练样本不足和初始参数敏感问题,提出一种基于改进遗传算法和隐Markov模型的协议异常检测新方法。首先,采用局部竞争选择策略、算术交叉算子和自适应非均匀变异算子改进遗传算法,避免传统遗传算法在收敛过程中的早熟和停滞问题;然后,利用改进的遗传算法优化隐Markov模型的初始参数,解决模型对初始参数敏感的问题;最后,以协议关键词和关键词时间间隔作为训练观测值,细粒度地描述协议行为,扩大模型的训练样本空间。在DARPA 1999数据集上的实验结果表明,该方法具有很高的检测率和较低的误报率。

采用shell命令和隐Markov模型进行网络用户行为异常检测

异常检测是目前网络入侵检测领域研究的热点内容.提出一种基于shell命令和隐Markov模型(HMM)的网络用户行为异常检测方法,该方法利用shell会话中用户执行的shell命令作为原始审计数据,采用特殊的HMM在用户界面层建立网络合法用户的正常行为轮廓.HMM的训练中采用了运算量较小的序列匹配方法,与传统的Baum-Welch训练算法相比,训练时间有较大幅度的降低.在检测阶段,基于状态序列出现概率对被监测用户当前行为的异常程度进行分析,并考虑到审计数据和用户行为的特点,采用了较为特殊的判决准则.同现有的基于HMM和基于实例学习的检测方法相比,文中提出的方法兼顾了计算成本和检测准确度,特别适用于在线检测.该方法已应用于实际入侵检测系统,并表现出良好的检测性能.

基于隐Markov模型的协议异常检测

入侵检测是网络安全领域的研究热点,协议异常检测更是入侵检测领域的研究难点.提出一种新的基于隐Markov模型(HMM)的协议异常检测模型.这种方法对数据包的标志位进行量化,得到的数字序列作为HMM的输入,从而对网络的正常行为建模.该模型能够区分攻击和正常网络数据.模型的训练和检测使用DARPA1999年的数据集,实验结果验证了所建立模型的准确性,同现有的基于Markov链(Markov chain)的检测方法相比,提出的方法具有较高的检测率.

计算机系统入侵检测的隐马尔可夫模型

入侵检测技术作为计算机安全技术的一个重要组成部分 ,现在受到越来越广泛地关注 首先建立了一个计算机系统运行状况的隐马尔可夫模型 (HMM) ,然后在此模型的基础上提出了一个用于计算机系统实时异常检测的算法 ,以及该模型的训练算法 这个算法的优点是准确率高 ,算法简单 ,占用的存储空间很小 。

基于隐马尔可夫模型的程序行为异常检测

针对入侵检测中普遍存在误报与漏报过高的问题,提出了一种基于隐马尔可夫模型的程序行为异常检测新方法.该方法以程序正常执行过程中产生的系统调用序列为研究对象,建立计算机的正常程序行为模型.在入侵检测时,先对测试的系统调用数据用滑动窗口划分得到短序列,再根据正常程序行为的隐马尔可夫模型求得每个测试短序列的输出概率,如果系统调用短序列的输出概率低于给定阈值,则将该短序列标定为“不匹配”,如果测试数据中不匹配的短序列数占总短序列数的百分比超过另一给定阈值,该模型就认为此程序行为异常.实验结果表明,与Forrest和Lee的方法相比,所提方法的检测率的最大提高率可达590%.

基于隐马尔可夫模型的异常检测

首先建立了一个计算机系统运行状况的隐马尔可夫模型 ,然后在此模型的基础上提出了一个用于计算机系统实时异常检测的算法 ,这个算法根据最大信息熵原理 ,通过比较固定长度系统行为序列的平均信息熵和一个预先给定的阈值来检测入侵行为 .论文还给出了该模型的训练算法 .这个检测算法的优点是准确率高 ,算法简单 ,占用的存储空间很小 。

基于改进隐马尔可夫模型的系统调用异常检测

针对隐马尔可夫模型计算开销过高的问题,提出了一种新的基于隐马尔可夫模型(Hidden Markov model,HMM)的异常检测方法,利用系统调用执行迹具有的局部规律性,用改进的HMM(Improved HMM,IHMM)学习算法来构建程序正常行为模型。在检测时,首先对待测系统调用数据用滑动窗口划分,并通过正常行为模型来判定异常,根据异常短序列占所有短序列的百分比来判断该进程是否行为异常。实验结果显示该方法训练耗时仅为传统方法的1%。当阈值在一个较大范围内变化时,模型的检测性能始终保持稳定。表明本文方法通过避免对大量相同短序列的重复计算,显著减少了训练时间和计算开销,在实际应用中具有良好的可操作性。

基于隐马尔可夫模型的用户行为异常检测新方法

提出一种基于隐马尔可夫模型的用户行为异常检测方法,主要用于以shell命令为审计数据的主机型入侵检测系统。与Lane T提出的检测方法相比,所提出的方法改进了对用户行为模式和行为轮廓的表示方式,在HMM的训练中采用了运算量较小的序列匹配方法,并基于状态序列出现概率对被监测用户的行为进行判决。实验表明,此方法具有很高的检测准确度和较强的可操作性。

一种基于隐马尔可夫模型的IDS异常检测新方法

提出一种新的基于隐马尔可夫模型的异常检测方法,主要用于以shell命令或系统调用为原始数据的IDS。此方法对用户(或程序)行为建立特殊的隐马尔可夫模型,根据行为模式所对应的序列长度对其进行分类,将行为模式类型同隐马尔可夫模型的状态联系在一起,并引入一个附加状态。由于模型中各状态对应的观测值集合互不相交,模型训练中采用了运算量较小的的序列匹配方法,与传统的Baum-Welch算法相比,大大减小了训练时间。根据模型中状态的实际含义,采用了基于状态序列出现概率的判决准则。利用UNIX平台上用户shell命令数据进行的实验表明,此方法具有很高的检测准确性,其可操作性也优于同类方法。

基于HMM和STIDE的异常入侵检测方法

入侵检测是对正在发生或已经发生的入侵行为的一种识别过程。异常检测是入侵检测的主要分析方法之一。该文在传统的使用单一入侵检测算法的基础上,提出一种基于HMM和STIDE复合算法的异常入侵检测方法。HMM和STIDE复合算法被用来区分未知的行为是合法操作还是一次入侵。实验证明该方法具有低虚警率和高检测率。

一种利用程序行为分析的rootkit异常检测方法

提出了一种基于程序行为截取与分析的rootkit异常检测方法,该方法首先捕获软件行为和检测行为痕迹,然后采用基于隐Markov模型(HMM)的异常检测算法分析所获得的行为数据,从而检查出隐藏于操作系统中的rootkit.实验结果表明,该方法能有效检测出rootkit,具有高检出率和低误报率的特点,适用于计算机操作系统内的rootkit检测.

基于隐马尔可夫模型的入侵检测方法

针对当前网络安全事件频发以及异常检测方法大多集中在对系统调用数据的建模研究上等问题,提出一种基于隐马尔可夫模型的入侵检测方法。该算法基于系统调用和函数返回地址链的联合信息来建立主机进程的隐马尔可夫模型。此外,针对常用训练方法存在的不足,设计了一种快速算法用以训练模型的各个参数。实验结果表明:基于系统调用和函数返回地址链的联合信息的引入能够有效区分进程的正常行为和异常行为,大幅度降低训练时间,取得了良好的运算效果。

HMM模型在检测复杂网络攻击中的应用

对于隐蔽性强、持续时间长且分步完成的复杂网络攻击,现有的入侵检测技术仍无法有效地进行识别。详细地分析了复杂网络攻击的特征,并在此基础上建立了复杂网络攻击的HMM检测模型。通过关联分析不同网络监视器的报警事件,产生用于HMM模型训练及检测的报警序列,这些报警序列本质上反映了攻击者的行为。实验结果表明,该模型能较好地检测复杂网络攻击。

基于应用层协议关键词序列的应用层异常检测方法

提出一种基于应用层协议关键词序列的应用层异常检测方法.它用应用层协议关键词和关键词之间的时间间隔构成观测序列,用隐半马尔可夫模型来刻画正常用户在使用每种应用层协议时的行为.该方法可分为模型训练和异常检测两个阶段:在模型训练阶段,利用前后向算法训练得到正常用户在使用每种应用层协议时其行为的隐半马尔可夫模型;在异常检测阶段,在线统计每个观测序列相对于模型的平均对数或然概率,当发现某个用户在使用某种应用层协议的过程中其行为出现异常时,采取调整该用户数据流的优先级或者带宽的方式来对该用户的异常行为进行控制,从而可以自动纠正用户的异常行为.使用包括DARPA测试数据集在内的一些数据对该方法进行了验证.实验结果表明该方法能很好地描述正常用户在使用应用层协议时的行为,并且在检测用户异常行为时具有很高的检测率和很低的误报率.

基于系统调用的混合HMM/MLP异常检测模型

首先描述了基于隐马尔可夫模型(HMM)的异常检测方法并指出其缺点.然后提出了一种将多层感知机(MLP)用作HMM的概率估计器的方法,以克服HMM方法的不足.最后建立了一个基于系统调用的混合HMM/MLP异常检测模型,并给出了该模型的训练和检测算法.实验结果表明,该混合系统的漏报率和误报率都低于HMM方法.

基于自编码器和隐马尔可夫模型的时间序列异常检测方法

针对已有基于隐马尔可夫模型(HMM)的时间序列异常检测模型的符号化方法不能很好地表征原始时间序列的问题,提出了一种基于自编码器和HMM的时间序列异常检测方法(AHMM-AD)。首先,通过滑动窗口对时间序列样本进行分段,按照分段位置形成若干时间序列分段样本集,由正常时间序列上不同位置的分段样本集训练各个分段的自编码器;然后,利用自编码器得到每个分段时间序列样本的低维特征表示,通过对低维特征表示向量集的K-means聚类处理,实现时间序列样本集的符号化;最后,由正常时间序列的符号序列集生成HMM,根据待测样本在已建HMM上的输出概率值进行异常检测。在多个公共基准数据集上的实验结果显示,AHMM-AD比已有的基于HMM的时间序列异常检测模型在精确度、召回率和F1值分别平均提高了0.172、0.477、0.313,比基于autoencoder的时间序列异常检测模型,在这三方面分别平均提高了0.108、0.450、0.319。实验结果表明,AHMM-AD方法能够提取时间序列中的非线性特征,解决已有HMM建模时间序列符号化过程中不能很好表征时间序列的问题,并在时间序列异常检测性能上也有显著提升。

无线Mesh网络基于隐半马尔可夫模型的跨层结合异常检测方法

目前无线Mesh网络异常检测的方法大多针对单一恶意攻击,还不具备检测来自不同协议层的恶意攻击的综合能力。提出一种基于多协议层跨层结合的异常检测方法,即采集多协议层结合的特征对网络运行状态进行全方位监测,并训练隐半马尔可夫模型对网络正常运行状态进行描述,通过计算多维观测序列相对于隐半马尔可夫模型的熵来评价其"正常性",从而发现源自不同协议层的恶意攻击行为。实验仿真证明,该方法能有效检测源自各协议层的多种恶意攻击,具有一定的通用性。

基于隐马尔可夫的系统入侵检测方法

针对入侵检测中普遍存在误报与漏报过高的问题,本文提出一种新的基于隐马尔可夫模型的系统入侵检测方法。该方法以程序正常执行过程中产生的系统调用序列为研究对象,首先建立计算机运行状况的隐马尔可夫模型,然后在此模型的基础上提出一个用于计算机系统实时异常检测的算法。实验证明,用这种方法建模的系统在不影响检测率的情况下,比传统的数据建设模节省存储空间,并且准确率高。

基于网络的HMM异常检测方法研究

文章从HMM的基本思想、概念出发,建立了以捕获的网络数据包为观测对象的HMM异常检测原型。对原型中存在的可见符号集太大的问题,提出了对观测对象进行分段的改进办法,进而建立了具有可操作性的HMM异常检测模型。在观测对象的概率计算方面,引入了滑动窗口的概念,解决了概率值过小的问题。对模型的训练,给出了模型训练算法、矩阵B的更新公式。