基于聚类离群因子和相互密度的离群点检测算法

针对大多基于聚类的离群点检测算法往往需要人工输入参数,对于不同的数据集很难选择一个合适参数的问题,将无参数的基于自然邻居的离群点检测算法的自然邻居搜索算法和密度峰值聚类算法相结合,提出一种基于聚类离群因子和相互密度的离群点检测算法。该算法使用相互密度和γ密度构造决策图,将γ密度异常大的样本点作为聚类中心进行聚类,最后根据聚类的离群因子找出离群聚类边界检测离群点,该算法不需要人工输入参数。在模拟数据集和真实数据集下进行了实验,证明了所提算法能很好地进行聚类和离群数据的挖掘。

基于MST聚类的空间数据离群挖掘算法

空间离群是指空间邻域中属性特征值明显不同于其他对象的空间对象,空间数据离群挖掘能为人们提供很多有趣的信息,但空间数据具有复杂的拓扑关系、方位关系和度量关系等空间特征,传统的面向事务型数据库的离群挖掘算法并不适用于空间数据库。本文提出了基于MST(Minimum Spanning Tree,最小生成树)聚类的空间数据离群挖掘算法(SOM);有机结合了最小生成树理论与密度的方法,既体现了空间离群的局部特性,又体现了空间离群的孤立程度。该算法通过MST维护空间数据的基本空间结构特征,通过打断MST中最不一致的边形成MST聚类,不仅具有密度的聚类方法能够聚集非球状簇和分布不均的数据集的特点,而且聚类结果不依赖于用户参数的选择,因此,离群挖掘结果更合理。最后,通过实例数据,验证了该算法的有效性,它适用于大规模空间数据集的离群挖掘。

基于离群聚类的异常入侵检测研究

提出了一种离群聚类算法,并分析了算法抗例外点干扰的能力。离群数据是远离其它数据的数据,网络中异常入侵数据的实质就是离群数据,因为异常入侵记录往往呈现小样本和多变性的特点,并且偏离正常网络连接记录。通过定义新的异构样本的相异性度量方法,提出了一种基于离群聚类无监督学习的异常入侵检测方法。仿真实验表明了方法的有效性和实用性,在总检测率方面优于文献中已有的其它方法。

基于离群模糊核聚类算法的PID毒气检测系统设计

针对传统毒气检测系统混合检测中适用性差、检测误差率高的不足,提出基于离群模糊核聚类算法的PID毒气检测系统设计;在系统硬件设计中选择了性能更强的STM32F2X型MCU,并设计了专门用于毒气类别分析的功能模块;在软件算法和主控程序的设计中,采用了离群模糊核聚类算法提高对毒气数据的聚类分析能力,以此改善毒气检测的准确性;实验结果表明,提出的PID毒气检测系统能够识别出多种天然毒气和化学毒气,在毒气浓度的检测误差方面也能够控制在2%以内。

广义洛伦兹内核函数在模糊C均值聚类中的应用研究

模糊C均值(FCM)算法是数据聚类分析的主要算法。但在嘈杂环境下,对于抽样大小不一的聚类,数目越多准确性越低,上述弊端可通过替代性FCM(AFCM)的高斯内核映射来解决。鉴于AFCM的不足,提出了针对模糊C均值聚类的广义洛伦兹内核函数。利用该算法对鸢尾数据库进行聚类,将其划分成山鸢尾、变色鸢尾和维吉尼亚鸢尾3类。实验结果表明,广义洛伦兹模糊C均值(GLFCM)可实现对离群聚类和大小不等的聚类数据的分类,其结果优于K均值、FCM、替代性C均值(AFCM)、Gustafson-Kessel(GK)和Gath-Geva(GG)方法,收敛迭代次数比AFCM的更少,其分区索引(SC)效果也好于其他方法。

船用开关柜局部放电异常检测

针对船用开关柜现场带电检测数据,提出了一种基于多维特征量的主成分(PCA)聚类离群算法,对柜体的局部放电程度进行异常识别。首先采用运行时间的年限系数以及局部放电检测数据的离散度、均值距离度和极差度等指标全面量化开关柜局部放电状态程度,构建PCA-多维样本数据集;通过轮廓系数法选择聚类离群算法最佳的簇参数;考虑聚类后各类别之间的密度差异性,引入相对距离量化局部放电的程度,由此实现局放程度异常识别。对现场带电检测实际数据进行实例分析,验证该方法的可行性,为船用开关柜的局部放电状态异常识别提供一定的理论依据。

海量不确定数据集中离群点快速检测方法仿真

由于传统离群点检测方法未对离群点进行判定,从而导致出现了检测速度慢、检测误差大的问题,为此提出一种海量不确定数据集中离群点快速检测的方法。优先判定出不确定数据集中的离群点,利用点排序识别聚类结构(Ordering points to identify the clustering structure)算法完成,确定待检测离群点所需参数,计算出离群点的离群属性,根据离群属性计算结果,引入邻域密度构建离群点快速检测模型,设定模型中离群点检测阈值,实现不确定数据集中离群点的快速检测。由仿真结果得出,与传统检测方法相比,提出的方法算法运行耗时降低了50%以上,离群点的判定准确度更高,漏检、误检率大大降低,实现了离群点精度高、速度快的检测,对数据挖掘与预处理有显著的实践意义。

多情景土地利用模拟结果差异性评估方法研究

土地利用情景模拟中,对多次模拟结果进行评估是提高模拟精度的重要方法,辅助规划决策者制定更科学的规划方案。为此,提出了基于Moore邻域的图像差异性评估方法,构建了栅格图形差异性测度指数,通过K-Means聚类方法与最适置信区间法相结合的聚类离群区检测方法验证土地利用变化显著性,并与传统的局部加权Kappa系数相比较。选取江苏省常州市新北区孟河镇土地利用模拟数据作为实验数据,实验结果表明,栅格图形差异性测度指数能够有效过滤因模型不确定性导致的模拟结果差异,科学辨别栅格变化区域,减少冗余信息,提高模拟精度。

基于信息融合的多层次多因素客户洗钱风险综合评估研究

有效的客户洗钱风险评估体系是金融机构全面落实风险为本监管思想、合理利用反洗钱监管资源、有效打击洗钱行为的基础。文章选取金融机构中企业客户的多项核心交易属性作为信息源,借助专家评估系统和新型聚类离群点算法对信息源进行洗钱风险分析与量化,以量化结果为证据源,建立了基于D-S证据理论的客户洗钱风险综合评估模型。通过采用某省企业的外汇交易数据对本模型进行了实证检验,研究结果表明该模型能够较为全面、准确的评估客户的综合洗钱风险。