面向高维流数据的离群值检测算法

累计局部离群因子(cumulative local outlier factor,C_LOF)算法能有效解决数据流中的概念漂移问题和克服离群点检测中的伪装问题,但在处理高维数据时,时间复杂度较高。为有效解决时间复杂度高的问题,提出一种基于投影索引近邻的累计局部离群因子(cumulative local outlier factor based projection indexed nearest neighbor,PINN_C_LOF)算法。使用滑动窗口维护活跃数据点,在新数据到达和旧数据过期时,引入投影索引近邻(projection indexed nearest neighbor,PINN)方法,增量更新窗口中受影响数据点的近邻。实验结果表明,PINN_C_LOF算法在检测高维流数据离群值时,在保持检测精确度的前提下,其时间复杂度较C_LOF算法明显降低。

基于期望核密度离群因子的离群点检测算法

针对基于密度的离群点检测方法在不同分布的数据集上检测精度低的问题,提出了一种基于期望核密度离群因子的离群点检测算法。首先,引入k近邻和反向k近邻扩展邻域空间(ENS)代替传统的k邻域范围,更加全面地考虑数据对象的邻域信息;其次,在传统核密度估计(KDE)方法的基础上引入多元高斯函数,在扩展邻域空间内估计数据对象的密度,同时借鉴自适应核带宽的思想,更好地适应不同数据集的数据分布;然后,给出期望距离的概念,进一步区分局部离群点和位于低密度区域的正常点;最后,定义了期望核密度离群因子刻画数据对象离群程度。在人工数据集和真实数据集上对所提算法进行实验验证,并与部分传统算法进行对比,验证了所提算法的有效性。

基于相对离群因子的标签噪声过滤方法

分类任务中含有类别型标签噪声是传统数据挖掘中的常见问题,目前还缺少针对性方法来专门检测类别型标签噪声.离群点检测技术能用于噪声的识别与过滤,但由于离群点与类别型标签噪声并不具有一致性,使得离群点检测算法无法精确检测分类数据集中的标签噪声.针对这些问题,提出一种基于离群点检测技术、适用于过滤类别型标签噪声的方法--基于相对离群因子(Relative outlier factor,ROF)的集成过滤方法(Label noise ensemble filtering method based on rel-ative outlier factor,EROF).首先,通过相对离群因子对样本进行噪声概率估计;然后,再迭代联合多种离群点检测算法,实现集成过滤.实验结果表明,该方法在大多数含有标签噪声的数据集上,都能保持优秀的噪声识别能力,并显著提升各种分类模型的泛化能力.

基于无监督学习的异质网络多尺度离群点挖掘研究

现有的异质网络多尺度离群点挖掘算法忽略了数据点之间的顺序关系,无法充分利用数据点在异质网络中的排列顺序信息,从而导致聚类精度下降。对此,提出一种基于无监督学习的异质网络多尺度离群点挖掘方法,对异质网络的多节点、多边特点进行分析。利用季节-趋势时序分解法提取异质网络数据特征。根据数据特征,结合K-means聚类算法与排序算法,将数据点的排序信息添加至聚类过程中,以实现对异质网络数据离群点的挖掘。实验结果表明,利用该方法进行网络数据节点聚类的准确率均能达到80%以上;并且实现了多尺度离群点挖掘后,能够精准地识别出离群点,为后续的网络通信维护提供了良好的保障。

基于映射距离比离群因子的离群点检测算法

针对基于邻近性的离群点检测方法需要花费大量时间过滤正常点,并且在检测全局离群点时难以检测出局部离群点的问题,提出一种基于映射距离比离群因子离群点检测(MDROF)算法。首先,为了减少正常点在检测过程中的时间消耗,给出了差异相似度的概念,通过定义差异相似度剪枝因子过滤掉数据集中的大部分正常点。其次,定义映射k距离,通过映射距离与可达距离的比值刻画数据对象的局部离群程度,通过可达密度刻画数据对象的全局离群程度。最后,结合数据对象相互近邻点的平均排位定义映射距离比离群因子来检测离群点。在人工数据集以及真实数据集上分别对该算法与其他经典的离群点检测算法在精确率、AUC值和离群点发现曲线上进行实验对比分析。实验结果证明MDROF算法在离群点检测的准确性和稳定性上明显优于对比算法。

基于离群点检测和自适应参数的三支DBSCAN算法

针对经典的DBSCAN算法存在难以确定全局最优参数和误判离群点的问题,该算法首先从选择最优参数角度出发,通过数据集的分布特征生成Eps和MinPts列表,将两个列表中的参数进行全组合操作,把不同的参数组合依次进行聚类,从而寻找准确率最高点对应的参数。最后从离群点角度出发,将三支决策思想与离群点检测LOF算法进行结合。该算法与多种聚类算法进行效果对比分析,结果表明该算法能够全自动化选择全局最优参数,并提高聚类算法的准确性。

改进DPC聚类算法的离群点检测与解释方法

为解决全局离群点检测方法无法对局部离群点进行检测,以及局部异常因子在面对大量局部离群点时性能下降的问题,利用k近邻(KNN)和核密度估计方法(KDE)提出一种基于改进快速搜索和发现密度峰值聚类算法(KDPC)的离群点检测与解释方法,该方法能够同时对数据点的全局和局部进行分析。首先,利用k近邻和核密度估计方法计算数据点的局部密度,代替传统DPC算法中根据截断距离计算的局部密度。其次,将数据点的k近邻距离之和作为全局异常值,并通过KDPC聚类算法计算簇密度以及数据点的局部异常值。最后,将数据点的全局与局部异常值进行乘积作为最终异常得分,选取异常得分最高的Top-n作为离群点,通过构建全局-局部异常值决策图对全局和局部离群点进行解释。利用人工数据集和UCI数据集进行实验并与10种常用离群点检测方法进行比较。结果表明,该方法对全局和局部离群点都有着较高的检测精度和检测性能,并且AUC方面受k值影响较小。同时,利用该方法对NBA球员数据进行分析讨论,进一步证明了该方法的实用性和有效性。

基于改进K-means的局部离群点检测方法

离群点检测任务是指检测与正常数据在特征属性上存在显著差异的异常数据。大多数基于聚类的离群点检测方法主要从全局角度对数据集中的离群点进行检测,而对局部离群点的检测性能较弱。基于此,本文通过引入快速搜索和发现密度峰值方法改进K-means聚类算法,提出了一种名为KLOD(local outlier detection based on improved K-means and least-squares methods)的局部离群点检测方法,以实现对局部离群点的精确检测。首先,利用快速搜索和发现密度峰值方法计算数据点的局部密度和相对距离,并将二者相乘得到γ值。其次,将γ值降序排序,利用肘部法则选择γ值最大的k个数据点作为K-means聚类算法的初始聚类中心。然后,通过K-means聚类算法将数据集聚类成k个簇,计算数据点在每个维度上的目标函数值并进行升序排列。接着,确定数据点的每个维度的离散程度并选择适当的拟合函数和拟合点,通过最小二乘法对升序排列的每个簇的每1维目标函数值进行函数拟合并求导,以获取变化率。最后,结合信息熵,将每个数据点的每个维度目标函数值乘以相应的变化率进行加权,得到最终的异常得分,并将异常值得分较高的top-n个数据点视为离群点。通过人工数据集和UCI数据集,对KLOD、LOF和KNN方法在准确度上进行仿真实验对比。结果表明KLOD方法相较于KNN和LOF方法具有更高的准确度。本文提出的KLOD方法能够有效改善K-means聚类算法的聚类效果,并且在局部离群点检测方面具有较好的精度和性能。

基于局部均值分解与局部离群因子动力电池故障诊断

动力电池故障诊断是保证电动汽车正常运行的关键。提出一种基于局部均值分解和局部离群因子的动力电池故障诊断方法,用于电池组故障识别与定位。通过局部均值分解对电压信号预处理,并根据相关系数高低重构电压信号。进一步提取重构信号的峭度因子作为故障特征输入到局部离群因子算法中,根据局部离群因子算法自适应阈值输出故障电池。采用实车数据验证了所提方法能有效、准确地检测出故障,具有较好的可靠性与鲁棒性。

基于局部信息熵的计算机网络高维数据离群点检测系统

通过离群点检测可以及时发现计算机网络中的异常,从而为风险预警和控制提供重要线索。为此,设计一种基于局部信息熵的计算机网络高维数据离群点检测系统。在高维数据采集模块中,利用Wireshark工具采集计算机网络原始高维数据包;并在高维数据存储模块中建立MySQL数据库、Zooleeper数据库与Redis数据库,用于存储采集的高维数据包。在高维数据离群点检测模块中,通过微聚类划分算法划分存储的高维数据包,得到数个微聚类;然后计算各微聚类的局部信息熵,确定各微聚类内是否存在离群点;再依据偏离度挖掘微聚类内的离群点;最后,利用高维数据可视化模块呈现离群点检测结果。实验证明:所设计系统不仅可以有效采集计算机网络高维数据并划分计算机网络高维数据,还能够有效检测高维数据离群点,且离群点检测效率较快。

基于局部信息熵的智能电网数据离群点识别

识别智能电网数据离群点能够准确地确定智能电网数据对象,但是目前提出的识别方法识别精准度较差,识别效率较低。为此,基于局部信息熵研究了一种新的智能电网数据离群点识别方法,通过方差定义选取优选空间,确定优选空间集阈值进行数据加权处理,计算优选空间信息熵;通过无量化处理判断临界点数值,得到子空间最优范围。检索与分析离群状态变化情况,计算离群因子,根据概率值增强算法对冗余数据的甄别能力,删除离群点冗余数据,将平均值计入值域,实现智能电网数据离群点识别。实验结果表明,所研究方法精准度最终能够达到95%,识别效率在90%以上。

离群点检测算法综述

离群点检测作为数据挖掘领域的一个重要研究方向,其目的是发掘隐藏在数据集合中与众不同且具有潜在分析价值的数据,辅助研究人员甄别数据源可能存在的问题。目前,离群点检测已被广泛应用于欺诈识别、智慧医疗、入侵检测、故障诊断等诸多领域。文中在总结前人经验的基础上,首先讨论离群点的定义、产生原因以及典型应用领域,综述了DBSCAN和LOF等离群点检测经典算法及其改进算法的优势和局限,分析了深度学习方法在离群点检测领域的优势;其次结合当前互联网背景下海量、高维、时序数据处理需求,对离群点检测算法在新环境下的发展状况做进一步研究;最后介绍离群点检测算法的评价指标、代价因子在离群点检测评价中的作用以及常用工具包和数据集,总结展望了离群点检测面临的挑战和未来的发展方向。

基于局部离群点检测的动力电池组不一致早期故障预警

随着新能源汽车的飞速发展,其动力电池的安全性问题受到了社会各界的广泛关注。在新能源汽车运行监控平台上,已有的动力电池安全检测功能无法在电池故障早期给出预警。针对电池不一致性预警问题,设计了一种更适用于实现动力电池组不一致早期故障预警问题的流程。设计了一种基于箱型图法的动态梯度数据清洗策略实现异常数据有效剔除;对数据进行充电阶段划分,提取单体电压变化不一致特征;在此基础上,借助离群检测算法得到各电池单体离群值,进行不一致故障初期预警并识别异常电池单体。对实际出现电池不一致故障车辆回溯分析,验证该流程提前监控平台已有的报警机制不少于7个充电周期,并可对异常单体进行准确定位。

基于关联规则与离群点的新能源汽车动力域入侵检测

为提高新能源汽车动力域中针对篡改攻击的入侵检测系统效果,建立包括关联规则检测和离群点检测的动力域防护模型,通过实车采集固定工况下的动力域报文数据,基于关联规则算法建立规则库检测篡改攻击;在关联规则检测的基础上通过离群点检测,检测复杂类型的篡改攻击。仿真结果表明,该方法相比于传统的关联规则方法检测准确率提高5.83%,能有效检测针对新能源汽车动力域的篡改攻击。

激光点云数据离群点删除下的多视点场景虚拟重构

单纯的激光扫描技术在现实场景虚拟重构时,有效点云数据过少,坐标均衡性较差,混乱坐标较多。为提高虚拟现实重构精度,设计基于激光点云离群点删除的多视点场景虚拟重构方法。提取多视点场景激光点云数据,包括激光数据角点特征提取,以及视觉数据角点特征提取。设置离群阈值,计算三维坐标轴中非离群点数据集所包含的空间长度,设置离群点坐标栅格结构。通过点激光云数据提取值,计算移除离群点前后点云数据之间的平均距离,完成无用数据移除,实现虚拟重构。实验结果可知:移除前后平均距离差距显著,可见离群点的移除对虚拟现实重构技术有明显作用;在使用所提方法得到的虚拟现实重构场景中,可以得到明显的房间轮廓,且大型物体重构影像也十分清晰。

一种基于加权概率密度的上下文离群检测算法

采用加权概率密度,提出一种上下文离群数据检测算法。利用高斯混合模型和稀疏度矩阵,确定相关子空间;在相关子空间中,采用加权概率密度局部异常因子公式,计算数据对象的离群因子,可以有效反映和刻画数据对象与其周围数据对象的不一致程度;选取离群因子最大的N个数据对象为离群数据,并将离群因子、相关子空间属性取值、局部数据集作为其上下文信息,有效地改善了离群数据的可解释性;采用人工和UCI数据集,实验验证了算法的有效性。

基于时间序列的局部离群数据挖掘优化算法

针对数据量较大和数据维度较高导致离群数据挖掘困难的问题,提出基于时间序列的局部离群数据挖掘优化算法。将角度优化的全局嵌入算法和共同核主成分分析法相结合构建AOCKPCA降维算法,对海量高维时间序列降维处理;在蚁群算法中引入K-means算法,提升蚁群算法运算效率,降低不稳定性;将降维后的时间序列输入到优化后算法中,实现局部离群数据挖掘。实验结果表明,采用所提方法挖掘离群数据的准确率较高,误判的离群点个数较少,说明其挖掘效果较好。

基于关联规则的局部离群数据挖掘算法设计

针对现有挖掘算法在对局部离散数据挖掘时,存在挖掘结果关联度低、挖掘效率低的问题,引入关联规则,开展对局部离群数据挖掘算法设计研究。对需要挖掘的局部离散数据预处理,包括数据清洗、数据集成等。针对局部离散数据中的高维数据,提出一种基于属性相关分析方法,实现聚类。确定挖掘算法中的离群因子与链距离。最后,结合关联规则,实现对局部离散数据的并行挖掘。通过对比实验证明,新的挖掘算法挖掘结果关联度更高,且挖掘效率高,具备极高应用价值。

基于混合近邻局部分布差异的离群点检测算法

离群点检测作为数据挖掘领域的重要任务,其目的是从表示事件或对象行为的数据中找出不一致数据。目前大部分传统的无监督离群点检测算法,如基于距离或密度的方法,识别多维度空间离群数据时都存在因维度诅咒导致检测精度衰退的问题。论文提出了基于混合近邻的离群点检测算法,该算法以数据项的混合近邻作为新的局部影响空间,以双向共享近邻和欧式距离重新定义了数据项的相似度计算方式,通过对比数据项与其局部影响空间中样本的平均局部分布差异衡量数据的局部离群程度,从而识别离群点。在合成和真实数据集上和其他同类算法的对比实验结果证明,该算法在离群点检测方面具有一定的提高。

基于反向标签传播的多生成器主动学习算法及其在离群点检测中的应用研究

当前正负类训练样本分布不均衡的问题已极大地限制了离群检测模型的性能。基于主动学习的离群点检测算法能够通过对样本分布的主动学习,自动合成离群点以平衡训练数据分布。然而,传统的基于主动学习的检测方法缺乏对合成离群点的质量评估和过滤筛选,导致通过主动学习过程合成的训练样本点中存在样本噪声,并降低了分类模型的性能。针对上述问题,提出了基于反向标签传播的多生成器主动学习算法(Multi-Generator Active Learning Algorithm Based on Reverse Label Propagation,MG-RLP),其包括多个神经网络生成器和一个用于离群点边界检测的鉴别器。MG-RLP通过多个子生成器生成多分布特征的样本数据,以防止单生成器合成的训练样本过于聚集而导致的模式崩塌问题。同时,MG-RLP利用反向标签传播过程对神经网络生成的样本点进行质量评估,以筛选出可信的合成样本。筛选后的样本被保留在训练样本中用于对鉴别器进行迭代训练,以提升对离群点的检测性能。基于5个公共数据集,对比验证了MG-RLP与6种典型的离群点检测算法的性能,结果表明,MG-RLP在AUC和检测精度指标上分别提高了15%和22%,结果验证了MG-RLP的有效性。