数据挖掘中孤立点挖掘算法研究

随着人们对数据质量、欺诈检测、网络入侵、隐私保护等问题的关注,孤立点挖掘在数据挖掘领域日益受到重视。本文在调研国内外孤立点挖掘研究算法文献的基础上,对已有各种孤立点挖掘算法进行了总结和比较,并结合当前研究热点,展望了孤立点挖掘未来的研究方向及其面临的挑战。

一种改进的高维孤立点挖掘入侵检测方法

入侵检测系统中原始数据多为高维数据,针对基于频繁模式高维孤立点挖掘算法不易获取完全频繁模式和时间复杂度高等问题,提出了一种基于最大频繁模式因子的高维孤立点挖掘算法获取孤立点集,并对孤立点集合进行进一步分析获取入侵检测的攻击模式.利用NSL-KDD数据集进行实验,和相关工作对比,结果表明所提出的方法在检测精确度和复杂度都具有优异的表现.

孤立点挖掘在警情时间序列异常点识别中的应用

针对北京市的警情时间序列中存在的一些异常特征,采用了一种基于距离和的孤立点挖掘方法来进行分析。该方法将警情在每日不同时段内的分布处理为相应的属性,然后将警情的时段属性进行标准化,计算了不同点之间的欧式距离和来判断点的异常性。结果发现,北京的警情异常现象出现在春节和年底期间,其中前者表现为由于居民燃放烟花爆竹所引起的火灾事故和治安纠纷;而后者则表现为电信诈骗案的高发。与基于日接警数量的异常点分析相比,基于距离和的异常点挖掘能够有效地将警情在时序分布中隐藏的一些异常聚集效应识别出来,从而为公安部门开展预警和情报信息服务提供帮助。

孤立点挖掘在教务管理中的应用研究

孤立点挖掘是一个重要的知识发现任务 ,在介绍孤立点及其挖掘算法的基础上 ,利用孤立点检测方法对教务管理系统中积累的数据进行分析 ,并提出基于距离和的孤立点检测算法。实验结果分析表明 ,该算法降低了检测过程对用户设置阀值的要求 ,在时间复杂度上 ,稍微优于循环 -嵌套算法。

基于CLARANS算法的孤立点挖掘

孤立点挖掘在电子商务犯罪,信用卡欺诈等领域已有成功应用。本文尝试使用CLARANS聚类算法进行孤立点探测,并将其应用于大型数据集数据的正确性检验。实验表明该方法能够克服常规数据抽查方法的不足。

孤立点挖掘技术在入侵检测中的应用研究

在入侵检测中,可以运用到多种数据挖掘技术和挖掘模型。但是孤立点挖掘在入侵检测中有着独特的模型分析和特征识别优势,本文从孤立点挖掘的角度对入侵检测进行了分析。主要就基于偏离的孤立点检测在异常检测中的运用研究进行了详细分析,分别讨论了正常行为特征的检测和实时的孤立点检测,同时建立了一个基于孤立点挖掘的入侵检测方法模型。

基于欧式距离孤立点挖掘方法在审计中的应用与研究

本文从距离孤立点挖掘相关概念出发，讨论了欧式距离挖掘方法在审计中的实现过程，并以某一公司应收帐款明细表为例，使用Excel中的VBA编程实现了该挖掘方法，通过该方法帮助审计人员快速确认了应收帐款重点审计的交易事项，提高了审计效率。

欧式距离孤立点挖掘方法在审计中的应用研究

从距离孤立点挖掘相关概念出发,讨论了欧式距离挖掘方法在审计中的实现过程,并以某一公司应收账款明细表为例,使用Excel中的VBA编程实现了该挖掘方法,通过该方法帮助审计人员快速确认了应收账款重点审计的交易事项,提高了审计效率。

孤立点挖掘算法及其在入侵检测中的应用

本文介绍了孤立点的基本概念,对孤立点检测算法进行了较为全面的阐述,在此基础上提出了应用孤立点挖掘进行入侵检测的基本模型,最后给出了孤立点挖掘在入侵检测中的应用现状。

基于孤立点挖掘的异常检测研究

随着网络技术的迅速发展,新类型的入侵行为层出不穷,人们迫切需要能检测出新类型入侵行为的技术。将数据挖掘与入侵检测相结合,能够增强入侵检测系统对海量数据的处理能力,使得入侵检测系统具有可扩展性和自学习能力,增强入侵检测系统的检测功能。从数据的观点来看,入侵检测本身是一个数据分析过程,在数量上远少于正常行为的入侵行为可看作孤立点。于是将数据挖掘中的孤立点挖掘技术作为一种网络安全检测手段,用来识别变种或未知入侵行为,对于改善入侵检测系统的性能有着重大的研究意义。文中着重通过对LOCL孤立点算法进行介绍,并提出改进算法,从而有效减少计算量,快速挖掘数据更新后的新孤立点,具有较高的实用价值。

入侵检测中孤立点挖掘的方法研究

孤立点检测是数据挖掘中一个重要方面,用来发现“小的模式”(相对于聚类),即数据集中显著不同于其他数据的对象.在以往的数据挖掘应用中,孤立点经常被当作“噪声”而被剔除.为更好地提高入侵检测系统中的实时性和准确性,提出了新的解决方案.

孤立点挖掘研究

孤立点挖掘的目标是发现数据集中行为异常的少量的数据对象。孤立点可能是无用的数据对象,也可能是对实际应用有意义的事件。从知识发现的角度来看,那些小概率事件的出现往往更具研究价值。通过孤立点挖掘,更加有利于决策者作出尽可能正确的决策。

基于圆形邻域孤立点挖掘算法的企业信用风险失真度研究

在考虑企业可能对外发布一些虚假信息这一前提下,借鉴DBSCAN聚类算法的思想,研究了圆形邻域的孤立点挖掘算法,并将其应用于企业虚假信息的识别,在此基础上提出并定义了企业信用风险失真度的概念及其量化结构,以此分析虚假信息对企业信用风险造成的影响,为投资者决策提供理论依据.

基于欧式距离孤立点的数据挖掘方法在审计中的应用与研究

本文从距离孤立点数据挖掘相关概念出发,讨论了欧式距离挖掘方法在审计中的实现过程,并以某一公司应收账款明细表为例,使用Excel中的VBA编程实现了该挖掘方法,通过该方法帮助审计人员快速确认了应收账款重点审计的交易事项,提高了审计效率。

数据流孤立点挖掘技术在煤与瓦斯突出预警中的应用

根据煤与瓦斯突出监测数据流的特点,给出一种基于局部孤立系数和关联子空间孤立点挖掘方法,实现了基于数据流的孤立点检测与原因分析。结合抚顺某煤矿的实际监测数据,对煤与瓦斯突出进行了预测,说明基于数据流孤立点挖掘技术在煤与瓦斯突出预警中的可行性。

基于孤立点挖掘生成误用检测攻击模式的研究

误用检测由于其检测率高、误报率低,是目前入侵检测系统主要采用的技术。攻击模式作为判定网络行为是攻击行为还是正常行为的依据,因此,攻击模式的获知是当前误用检测的研究热点之一。基于入侵行为和正常行为具有不同的数据特征,可以把入侵行为数据看成是异常数据这一思想,提出一种基于最大频繁项目集的孤立点挖掘算法,生成攻击模式规则。通过KDD CUP 99数据集对提出的方法进行评估,并与其他算法进行对比,表明该方法具有更好的检测率和误报率。

孤立点挖掘在入侵检测中的应用研究

随着网络技术的迅速发展,入侵检测(Intrusion Detection,ID)是对网络入侵攻击行为的检测,是网络安全的核心技术之一。利用入侵检测技术,不但能检测到外部攻击,而且能检测到内部攻击或误操作。本文将数据挖掘中的孤立点挖掘应用到入侵检测系统中,用来识别变种的或未知的网络入侵行为,使得入侵检测系统具有可扩展性和实时性,提高入侵检测系统的检测能力。

孤立点一类支持向量机算法研究

一类支持向量机将数据样本映射到高维空间,通过与坐标原点保持最大间隔的特征超平面检测孤立点。实际应用中算法对坐标原点的选择依赖性较强,检测性能受数据样本的分布影响较大;将算法转化为求解二类问题在一定程度上克服了这些不足,但其带来的数据不平衡问题受到现实中孤立点样本稀少或者不存在的影响。该文提出了"孤立点一类支持向量机"算法,并在此基础上设计了一种无监督的孤立点检测方法。分别基于超平面距离和概率输出大小定义两种孤立点异常程度,设定不同权值合并两种异常程度输出,将获得的可疑孤立点特征信息引入算法;在特征空间划分距离可疑孤立点最大间隔的超平面,分析在全部样本上的预测输出大小进而交互更新两部分的数据样本。在UCI数据集上进行了仿真实验,数据结果表明了该文方法能有效的提高检测率,降低误报率;同时样本交叉更新提高了检测的稳定性。

基于孤立点检测的自适应入侵检测技术研究

传统的入侵检测技术主要是从已知攻击数据中提取出每种具体攻击的特征规则模式,然后使用这些规则模式来进行匹配。然而基于规则的入侵检测的主要问题是现有的规则模式并不能有效应对持续变化的新型入侵攻击。针对这一问题,基于数据挖掘的入侵检测方法成为了入侵检测技术新的研究热点。本文提出了一种基于孤立点挖掘的自适应入侵检测框架,首先,基于相似系数寻找孤立点,然后对孤立点集合进行聚类,并使用改进的关联规则算法来从孤立点聚类结果中提取出各类入侵活动的潜在特征模式,然后生成可使用的匹配规则模式来添加到现有的规则模式中去,进而达到自适应的目的。本文使用KDD99的UCI数据集进行孤立点挖掘,然后使用IDS Snort的作为实验平台,使用IDS Informer模拟攻击工具进行测试,这两个实验结果表明了本文所提出算法的有效性。

基于单元的孤立点提取算法研究

该文介绍了孤立点、孤立点挖掘以及基于单元的孤立点提取算法的相关概念。主要讨论了应用于二维数据集的基于单元的孤立点提取算法,分析了该算法的程序实现过程和时间复杂度。