一种改进的局部离群数据检测算法

针对传统局部离群数据检测算法时间复杂度高、参数鲁棒性差的问题,在基于连接的异常因子(Connectivity based outlier factor,COF)算法的基础上,提出了一种基于聚类和密度的局部离群数据检测算法。利用聚类方法从原始数据集中筛选出候选离群数据集,来降低算法的时间复杂度;在进行数据对象之间距离计算时,引入信息熵的概念确定数据对象的离群属性,以提高算法的检测准确率。确定数据集的离群属性后,采用新的局部链接离群因子(Local connectivity based outlier factor,LCOF)度量候选离群数据集中数据的离群程度。此算法在保证检测准确率的前提下,降低了时间复杂度和检测准确率对参数的依懒性。仿真结果证明了所提方法的有效性和可行性。

基于层次化深度学习的医疗数据库离群数据检测算法

对医疗数据库中存在的离散数据进行检测时,由于缺少数据过滤等过程而导致检测执行时间较长、检测效率低、离散点检测率低等问题,为此提出基于层次化深度学习的医疗数据库离散数据检测算法.首先,采用动态网格划分法划分空间中的稀疏区域和稠密区域,降低数据检测的规模,缩短检测执行时间;然后,通过层次化深度学习过程融合专家知识和数据的属性取值分布信息,实现医疗数据库中离散数据的检测.实验结果表明,该算法可以在较短的时间内准确完成医疗数据库中离散数据的检测,且相较于传统算法来说更具有应用优势.

一种基于离群数据检测和线性回归的压装质量智能预警方法

针对高精度伺服机构压装质量控制难度大的问题,提出了一种基于离群数据检测和线性回归的智能质量预警方法。采用线性回归分析装配质量与压装过程之间的关系,建立了压装的“位移-力”数学模型,并定义了合格的压装力范围对装配质量进行控制。为了对压装过程中的“位移-力”原始数据集进行预处理,本文设计了一种改进的基于区域密度和P权值的局部离群因子(Local outlier factor based on area density and P weight,LAOPW)检测算法,以剔除导致线性回归数学模型不准确的离群值。该算法引入了基于信息熵的加权距离进行距离度量,并用P权值代替可达距离。实验结果表明,该算法在检测效率上比传统的局部离群因子(Local outlier factor,LOF)算法提高了5.6 ms,而检测准确率比基于区域密度的局部离群因子(Local outlier factor based on area density,LAOF)算法改善了2%左右。将本文提出的LAOPW算法和线性回归模型应用于高精度伺服机构压装质量控制,能够有效进行压装质量智能预警。

一种面向枢纽现象的离群数据检测算法

在高维数据中,逆k近邻查询会导致出现枢纽现象,这严重影响了基于逆k近邻离群检测算法的性能.为解决这一问题,提出了一种面向枢纽现象的双向近邻离群检测算法.该算法首先引入并重新定义了对象的影响空间,在影响空间中,同时兼顾了对象的k近邻和逆近邻的影响作用,有效提高了算法的准确性;其次,引入了启发式信息,不仅考虑对象的离群程度同时还考虑其k近邻的离群情况,显著降低了k的取值,从而减少了算法的计算量和运行时间;最后,采用真实数据集,实验验证了本文算法同传统的基于枢纽现象的离群挖掘算法相比具有更高的效率和准确性.

基于改进的OPTICS聚类和LOPW的离群数据检测算法

针对现有的离群数据检测算法时间复杂度过高,且检测质量不佳的不足,提出一种新的基于改进的OPTICS聚类和LOPW的离群数据检测算法。首先,使用改进的OPTICS聚类算法对原始数据集进行预处理,筛选由聚类形成的可达图得到初步离群数据集;然后,利用新定义的基于P权值的局部离群因子LOPW计算初步离群数据集中对象的离群程度,计算距离时引入去一划分信息熵增量确定属性的权重,提高离群检测准确性。实验结果表明,改进后的算法不仅提高了运算效率,而且提高了对离群数据检测的精确度。

基于大数据的异常检测方法研究

离群数据检测,主要目的是从海量数据中发现异常数据。其有以下两点好处:第一,作为数据预处理工作,减少噪声点对模型的影响;第二,针对特定场景检测出异常,并对异常现象本身进行挖掘,也非常有价值。目前,国内外主流的方法像LOF、KNN、ORCA等,无法兼顾全局离群点、局部离群点和离群簇同时存在的复杂场景的检测。针对这一情况,提出了一种新的离群数据检测模型。为了能够最大限度对全局、局部离群数据以及离群簇的全面检测,基于iForest、LOF、DBSCAN分别对于全局离群点、局部离群点、离群簇的高度敏感度,选定该三种特定基分类器,并且改变其目标函数,修正框架的错误率计算方式,进行融合,形成了新的离群数据检测模型ILD-BOOST。实验结果表明,该模型充分兼顾了全局和局部离群数据及离群簇的检测,且效果优于目前主流的离群数据检测方法。

“校园供水系统智能管理”的问题解析

就2020年"高教社杯"全国大学生数学建模竞赛E题"校园供水系统智能管理"给出了一种求解方法,并针对学生在参赛论文中出现的问题作了简要的说明与点评.为保证求解的连贯性,论文的前一部分是问题的求解,后一部分是参赛论文的点评.