改进密度峰值聚类的多源数据异常值检测算法

多源数据集中的数据类杂、数据量大,其中异常数据识别困难。针对多源数据异常值检测准确率低、稳定性差的问题,提出一种基于改进峰值密度聚类算法(NDPC算法)的多源数据处理方法,并在该算法的基础上构建出NDPC-SVM多源数据异常检测模型。模型首先使用数据预处理的方式对多源姿态图像数据进行数字化转换,以提高数据的可操作性;然后采用差分隐私保护算法对数据进行加密保护,并构建出隐私数据查询机制,提高数据的隐私性;接着利用NDPC算法对数据进行聚类处理,提高模型构建的鲁班性;最后利用交叉验证的方式优化构建出NDPC-SVM多源数据异常检测模型。消融仿真结果表明,四类优化算法的叠加显著的提高了异常数据检测的准确率与稳定性。对比仿真结果表明,与基线聚类算法模型相比,NDPC-SVM模型的准确率高达93.14%,召回率平均提升了2.48,综合性能上升了3.35%。因此,基于NDPC算法构建的NDPC-SVM多源数据异常检测模型在解决多源数据处理难度大的同时,提升了异常值检测的准确性与稳定性。

考虑载客状态的改进孤立森林浮动车异常数据检测算法

为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。

基于DBSCAN聚类算法的卫星数据分区异常检测

随着我国第一颗电磁监测卫星的发射,卫星探测的海量数据不断涌现,探究空间载荷数据变化特征已成为当前研究热点。为了对张衡一号卫星LAP载荷数据进行异常检测,该文将处理后的数据按地理纬度划分为南纬50°到南纬20°,南纬20°到北纬20°,北纬20°到北纬50°三个区域,依次采用DBSCAN密度聚类算法进行聚类异常检测。结果表明,该方法可用于对LAP数据的异常检测。DBSCAN密度聚类算法可用于检测卫星异常数据,为检测卫星探测数据异常、研究空间数据变化特征提供思路参考。

基于聚类算法的多维数据库一致性检测与恢复方法研究

为提高数据一致性以及检索效率,提出一种基于聚类算法的多维数据库一致性检测与恢复方法。计算数据指标均值与标准差,标准化处理数据;利用K-means算法衡量不同数据属性的相似特征,建立特征簇,选择聚类特征;通过稀疏图描述数据间关系,利用多级图分割算法获取多个子图,通过凝聚层次聚类方法,判断子图间相似度,设定合并阈值聚类子图,根据聚类结果判断数据库的一致性;针对一致性较差的数据库,采用等价类算法构建恢复模型,实现多维数据库一致性检测与恢复。实验结果证明:所提方法检测速度快,恢复后数据库一致性较好。

基于改进孤立森林算法的交通流异常数据检测模型

针对交通流异常数据实时检测问题,提出一种基于改进孤立森林算法与K-Means++算法相结合的交通流异常数据检测模型。首先,使用交通流量和交通流速度数据构建交通流序列;然后,利用改进孤立森林算法,构建交通流数据的异常评分模型,并通过K-Means++算法构建滑动窗口计算出异常评分的阈值,以此来实现对交通流数据异常值的实时检测;最后,通过实例分析验证模型的合理性和可行性。研究结果表明:改进孤立森林算法与K-Means++结合的方法可以准确地确定异常评分的阈值进而检测出异常数据;该模型与仅考虑交通流流量的模型、传统孤立森林模型相比,AUC分别高出29.7%和5.3%,与其他常用的LOF、ABOD、OCSVM方法相比,AUC均有所提高。该模型准确率明显提升,在交通流异常数据检测中具有更好的适用性,能够为交通管理部门提供交通状况检测支持,提高交通管理效率。

基于kNN算法的智能电网5G海量接入数据异常检测

为了更好适应智能电网高维数据异常识别,提出了一种加权kNN数据异常值检测识别方法,该方法使用Z阶曲线来识别kNN。利用Z阶曲线,提出了一种加权kNN异常数据检测方法。用信息熵衡量所有属性的重要性,用Z阶曲线对高维数据进行编码并映射为Z值。实验结果表明,智能电网集群计算节点的数量越多,算法的运行速度就越短。发电数据异常检测准确率达到最高99.2%,较随机森林算法提高8.165%。且kNN算法的运行时间均优于随机森林算法运行时间,最小算法运行时间为4 s,进一步表明kNN算法可有效检测智能电网5G海量接入数据。

基于Navie Bayes算法与k-means聚类算法的财务数据库异常检测

为了有效消除用户异常行为对企业财务数据库所带来的安全隐患,以往的数据库异常检测技术(如Navie Bayes算法)通常采用查询反馈,并建立用户行为特征(用户行为轮廓)的方法查找安全隐患,而该方法构建训练集耗时较多,效果不显著。因此,提出一种基于Navie Bayes算法与k-means聚类算法相结合的财务数据库异常检测技术。通过调取财务数据库运行日志中的用户查询内容及相应结果,采用k-means聚类算法进行用户分组,采用Navie Bayes算法构建异常检测模型。应用测试结果表明,与传统的用户行为轮廓算法相比,所提算法的训练效率更高,准确率大幅提高,综合F_(1)值有所提升,提高了财务数据的安全性。

基于SSA-PFCM聚类算法的电力大数据异常检测

为提高电网数据异常检测可靠性,针对已有的PFCM算法存在的聚类中心难以选择的问题,提出了一种将PFCM算法和SSA相结合的电力大数据异常检测方法。其中,SSA算法被用来优化PFCM算法的初始中心。仿真验证表明改进后算法与传统算法相比具有优越性。

基于盲均衡算法的网络大数据异常节点检测

网络大数据具有复杂性、多样性,其在流动期间容易出现异常节点。工作人员需采用智能性能检测的方式,才能减少网络故障问题的发生。相关部门基于网络大数据提出了异常节点的检测方法,采用传感序列采集模型,应用盲均衡算法提取网络环境中的噪声均值,以展现网络大数据异常节点的特征。基于此,文中结合实际,简要分析了盲均衡算法,阐述了基于盲均衡算法的网络大数据异常节点检测方法,以期为相关部门的工作提供支持。

基于多源数据融合的船舶异常行为检测研究

船舶异常行为的有效检测,对于海洋安全起着至关重要的作用,为提高海上船舶航行的安全性与稳定性,需要对传统以人工为主的监管模式进行创新和优化,在现代技术的支持下,采用以SAR与AIS数据相融合的目标监测技术,实现对船舶航行的动态化监督,全过程管理,以便于及时排查出异常问题,为海洋安全提供坚实的保障。文章简要分析了船舶常见的异常行为后,基于异常行为的多源数据,重点阐述了以多源数据融合为导向的船舶异常行为检测方法,旨在提高船舶异常行为识别的准确性与时效性,以期为相关人员提供参考和借鉴。

基于混合神经网络算法的电工仪表数据异常检测研究

电力系统本身就是一个高度复杂的系统,包括电网结构、供电设备、负载特性等多方面因素,这些因素之间复杂的相互作用可能会影响电工仪表数据的准确性,因此在异常检测研究中需要考虑系统复杂性带来的挑战。为此,本文提出了基于混合神经网络算法的电工仪表数据异常检测方法。构建电工仪表数据评价指标体系,并以此为依据,基于混合神经网络对电工仪表数据的准确性完成辨识,将辨识结果作为判断数据异常的标准。本文还提到引入随机森林输出电工仪表数据异常检测结果。实验结果表明:与传统方法相比,该研究方法的电工仪表数据异常检测耗时更短,精度更高。

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。

基于改进K-means聚类算法的网络异常数据挖掘与分类方法

为了解决网络异常数据挖掘过程中漏报率、误报率较高的问题,文章提出一种基于改进K-means聚类算法的网络异常数据挖掘与分类方法。文章通过构建并行化频繁项集挖掘环境加速数据处理,利用局部离群点检测剔除异常值,同时引入K-means聚类对数据的最大最小距离展开计算,融合隶属度函数与密度峰值优化算法,改进聚类初始中心选择及簇边界调整,从而提高异常识别准确性和分类效率。通过实验结果证明,该方法能够明显改善聚类效果与性能。

基于改进LOF的高维数据异常检测方法

作为数据挖掘的核心问题之一,检测离群点或异常值是及时发现故障和隐患问题的重要判断依据。随着物联网设备量的持续增长,传统的单维异常检测算法已经难以满足日益复杂的大数据应用场景。对多维、庞大的数据流进行异常检测时,容易发生检测速度慢和研判准确度下降的问题。本文提出了一个基于高维数据的改进LOF异常检测算法,以提高检测速度和检测精度。同时构建了一个面向海量监控指标数据的流式处理框架,保障异常检测的正常运行。实验结果表明,改进后的算法在准确率和计算效率上有明显提升。

改进多维关联规则算法在多源异构数据挖掘中的应用

针对传统多源异构数据挖掘方法存在的数据处理速度慢、加速比和分类精度低的问题,研究了改进多维关联规则算法在多源异构数据挖掘中的应用。利用改进多维关联规则算法分析数据之间的关联性,建立多源异构数据特征单元集合,根据数据权重与属性之间的相似度计算多源异构数据可信度,完成多源异构数据的预处理。计算多源异构数据的优先权值,并对数据进行排序处理,采用全局极小理论计算多源异构数据的适应度,以此搭建多源异构数据对象模型。以多源异构数据对象模型为依据,搜索出具有最大先验概率的数据划分策略,根据多源异构数据优化的目标函数设计了多源异构数据挖掘算法,实现了多源异构数据挖掘。实验结果表明,本文方法可以提高多源异构数据的处理速度,在加速比和分类精度上也具有一定的优势。

基于融合改进K-means聚类算法的数据检测技术

针对现有医疗财务数据分析系统平台老旧,采用传统K-means算法进行数据处理时性能较差的问题,文中设计了一种财务异常数据检测算法。对于传统K-means算法存在的分类效果不佳、运行效率偏低等不足,该算法结合密度峰值法对样本点的局部密度和高密度距离进行计算,进而优化簇中心的选择。同时融合PCA降维算法减少了数据的冗余信息,进一步提高了运行效率。通过引入LOF离群检测算法对分簇后的数据进行检测,从而得到异常数据结果。实验测试中,所提算法在人工数据集上的平均ARI指标为0.844,真实数据集的准确率则达到了79.2%,在所有对比算法中均为最优,表明该算法具有良好的性能,可以对财务异常数据进行准确地检测。

基于MOPSO算法改进的异常点检测方法

挖掘工业大数据的隐含价值是智能制造的一个重要研究方向,针对工业大数据特点开展异常点检测是实现数据分析的前提。首先,介绍了工业大数据异常点检测解决的主要问题,提出相关定义。其次,基于多目标粒子群算法(MOPSO),提出一种工业大数据异常点检测的改进DBSCAN模型,介绍了模型的算法设计思想、算法步骤,完成了算法伪代码的编写,并提出了算法时间复杂度的计算方法。最后,通过某电芯工厂制造数据,进行了模型仿真与实验,经实验验证,所提模型提高了工业大数据异常点检测的准确率,为数据挖掘在工业异常点检测中的应用提供了参考。

面向多维数据的异常点检测模型设计

为了在大数据环境下快速、精准地挖掘异常点,保障网络安全,提出了一种面向多维数据的异常点检测模型设计方案。该方案利用长短期记忆网络(LSTM)存储任意时间段的多维数据,并使用图卷积网络提取完整数据结构,同时加入惩罚参数和均方误差来缩小异常点出现范围。此外,还利用编码器和解码器构建变分自编码器函数模型,使其能够解读正常数据子特征,并通过编码重建损失函数来计算数据异常度量,从而实现异常点检测。经过实验验证,该方法表现出较高的检测正确率和运行效率,具有极高的应用价值。

基于多维特征提取的资源数据识别与校核算法

针对现有资源数据异常识别与智能校核算法准确性和可靠性差的问题,设计了一种基于多维特征提取的资源数据识别与校核算法。该算法以多维指标数据作为输入,通过加权随机算法构建初始孤立森林,再以平方预测误差(SPE)统计量作为判据,实现孤立森林的冗余消除,进一步采用离散粒子群算法优化选取最优子森林,从而实现对异常数据的智能高效检测。基于人力资源数据进行的算例分析测试结果表明,所提RRA-DPSO-WRIF算法的异常数据识别准确率可达95%,多次计算的偏差在2%以内,相比传统算法具有更高的检测准确率与稳定性,能够为人资数据的管控提供决策支撑。

基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法

针对当前电力资产信息管理系统难以准确自主发现异常数据的问题,提出了一种基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法。在管理系统框架下分析了可能存在的异常类型,将改进鲸鱼优化算法(IWOA)用于优化极限学习机自编码器(ELM-AE),建立了电力信息系统异常数据优化检测模型。将模型应用于电力资产信息异常数据检测,并建立性能评估指标体系以衡量其效果。结果表明:所提方法的检测性能评估结果与传统模型相比具有显著优势,能够更为准确地检测电力资产信息中存在的异常数据。