绝对重力测量异常值的局部异常因子检测算法

自主研发绝对重力仪的测量结果中出现的离群程度不同的异常值会直接影响测量结果的准确度和测量精度。目前一般采用的一元正态分布异常值检测算法漏检率高,容易造成测量结果的偏差和测量精度的下降。利用人工智能算法中的局部异常因子异常值检测算法,可以在线、快速、高效地完成自主研发绝对重力测量数据的异常值检测。首先,根据实测数据构建测试数据集,利用数值模拟确定局部异常因子算法邻域宽度参数的取值;然后,基于实测数据进行异常值检测并进行结果评估。评估结果表明,局部异常因子异常值检测算法对离群程度不同、连续出现异常值等情况检测效果明显优于一元正态分布异常值检测算法,组测量精度平均提高9.37μGal,可以作为自主研发绝对重力仪异常值检测的通用算法完成组测量结果的异常值检测。

耦合DWT-IFLOF的大坝监测数据异常检测算法

基于数据驱动的模型已广泛应用于大坝运行状态建模与短期变形预测等领域中,而监测数据中存在的异常值会削弱甚至破坏数据驱动模型的可信度和鲁棒性。针对上述问题,提出一种耦合DWT-IFLOF的大坝监测数据异常检测算法。首先,采用小波降噪技术减少监测数据集中采集噪声对模型建模的负面干扰。其次设计一种耦合孤立森林(iForest)异常检测算法与归一化局部离群因子值(LOF_(nor))的全新监测数据异常度量化表达式。最后通过引入拉伊达准则,依据计算得到的异常分数,对异常值进行定性筛查。试验结果表明,相较于热门异常检测算法,在查全率层面提升18.32%以上;查准率提升20.14%以上;准确率提升0.71%以上。可针对大坝安全监测数据中的异常值进行有效检测。

基于时间序列压缩分割的监测数据异常识别算法研究

为有效识别桥梁健康监测数据的异常,减少误预警、漏预警现象,保障桥梁监测数据的质量和有效性,针对大跨度斜拉桥长期监测数据的缺失、离群和漂移3类异常数据,提出基于时间序列压缩分割的监测数据异常识别算法。该算法将原始监测数据时间序列通过基于序列重要点(Series Importance Point, SIP)的时间序列线性分段(Piecewise Linear Represent, PLR)算法(PLR_SIP)得到数条时间子序列;然后采用欧氏距离进行时间子序列的相似性分析,并基于改进的局部离群因子(Local Outlier Factor, LOF)算法计算每条时间子序列的局部离群因子;最后将其与设定的阈值相比较,从而识别出监测数据的异常。为验证该算法的准确性与工程实用性,对某公路大跨度斜拉桥健康监测数据进行异常识别。结果表明:采用PLR_SIP算法对原始时间序列压缩分割得到的时间子序列能够准确地反映原序列的变化趋势和范围;改进的LOF算法突破了传统LOF算法仅能识别离群值这类无持续时间异常的局限性,能够排除噪声的干扰,实现对离群、缺失和漂移3种异常的识别。该算法无需定义训练集,直接以原始监测数据作为算法的输入,同时能够自适应调整阈值参数,具有良好的可扩展性、实时性、准确性和高效性,适用于处理实时、大量的桥梁健康监测数据。

基于局部离群因子算法的变压器异常检测

针对传统的变压器异常检测方法存在实时性差和效率低的问题,应用主成分分析法和局部离群因子算法(Local Outlier Factor,LOF)相结合的方法设计了变压器异常检测模型。首先,利用主成分分析法对变压器电气参量数据集进行特征降维,减少特征的冗余度;然后,通过局部离群因子算法计算所有样本点的离群因子,并将离群因子与截断阈值进行比较,筛选出变压器电气参量异常的样本点;最后,采用混淆矩阵对该方法做检测性能评估。利用局部离群因子算法对变压器状态异常进行检测,其灵敏度为81.8%,特异度为87.7%,几何均值为84.7%。局部离群因子算法的异常检测效果良好,可以辅助工程人员对变压器运行状态进行实时监测。

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。

通信和电网联合仿真的配电网局部异常因子故障辨识算法

信息系统传输故障、恶意攻击和物理系统故障都将威胁智能配电网的正常运行。现有研究未充分考虑信息系统与配电网融合造成的差异,特别是缺乏对信息系统故障与配电网物理故障进行统一辨识的方法。文中利用MATLAB和OPNET建立交互作用分析模型,对发生于信息物理系统中的故障进行定量分析;进而,提出基于多维尺度分析(multi-dimensional scaling,MDS)和局部异常因子(local outlier factor,LOF)的配电网故障辨识算法,实现信息系统故障和配电网物理故障的统一识别,以及对配电网故障区域和故障通信节点的定位。利用交互作用分析模型得到的仿真结果验证了对于智能配电网故障类型的分析,配电网物理故障和通信节点故障的辨识结果验证了本文算法的有效性。

基于局部异常因子的无监督学习集成异常检测

研究了基于局部异常因子(LOF)的无监督学习模型共享的集成学习异常检测方法,首先在局部采用LOF无监督学习得到检测模型,然后通过交换局部模型的方式实现集成异常检测.该方法能够从检测数据中自动发现异常样本,无需预先了解数据的分布特征,不对数据进行任何假设,适用范围广.方法通过交换检测模型实现数据有效信息的共享,相比集中式方法,减少了网络传输耗费.实验仿真表明,该方法能取得优于或和集中模型相当的检测性能.

iLOF*:一种改进的局部异常检测算法

异常检测是数据挖掘领域研究的基本问题之一,已被广泛应用于气象预报、网络入侵检测、电信和信用卡欺诈侦察等领域.基于密度的异常检测算法LOF具有较好的检测效果和适用性,但其计算量较大,运行效率不够高,且在进行对象之间的距离计算时忽略了不同属性对异常值的不同影响.针对以上不足,本文提出了一种高效的LOF改进算法iLOF*.该算法利用网格进行数据约简,从而提高了算法的运行效率;同时,在进行对象之间的距离计算时,引入信息熵,给不同属性赋予不同的权值,从而提高了算法的准确率.另外,用MapReduce计算框架将iLOF*算法并行化,进一步提高了算法在大规模数据集上的运行效率.最后的实验结果验证了iLOF*算法的有效性和高效性.

基于局部离群因子的军事训练数据异常值检测

为了对军事训练数据异常值进行检测,针对军事训练数据多属性特点,提出了一种按照属性方差进行有权重放缩变换的局部离群因子(LOF)异常值检测方法,给出了实例分析.实例分析表明,运用本文LOF异常值检测方法,检测出的异常数据具有较好的解释性和可参考性.这为改进常规训练方法、制定训练计划提供了参考.

基于局部异常因子的信息网络流量异常检测

网络流量异常问题是网络遭受攻击的一种表现,通常会引起网络丢包、网络延迟、甚至造成网路堵塞和瘫痪,严重威胁着网络性能和安全。因此,对于网络流量异常进行有效检测,对保障网络的正常运行具有重要意义。设计了一种基于局部异常因子的信息网络流量异常检测方案,在局部异常因子算法的基础上通过MVC模型,采用了SOA结构,通过计算最邻近点的K值,实现网络流量异常检测。在仿真实验中人为制造异常点,对比本文方法与传统方法的检测效果,结果表明设计的方案优于传统异常检测方法。

基于WT-kNN的沥青混凝土心墙坝渗流监测数据异常检测

安全监测数据的质量,对沥青混凝土心墙坝安全状况分析具有重要意义。时间效应导致的趋势性问题是渗流监测数据异常检测的难点。模态分解方法能较好地对时间序列的趋势项进行分离,进而识别处异常信号。但是,土石坝渗流监测数据中的异常值和真实信号往往存在模态混叠。为了解决上述问题,通过引入了小波变换结合局部kNN加权回归(WT-kNN)异常检测方法,使用连续小波变换分离趋势项,通过局部kNN加权回归进一步对小波变换的检测结果进行筛选,提高模型的异常检测准确率。工程应用结果表明:对于粗差占比2.5%~10%的监测序列,WT-kNN的召回率均高于95%,误判率低于5%;该模型与WT-MAD方法和SSA-DBSCAN方法对比实验验证了WT-kNN的有效性和优越性。敏感性分析结果表明,提出模型对异常值数量占总数据量比例和异常值波动范围大小敏感性低,可为后续监测数据分析处理及预测预警建立基础。

基于多因子融合的水质异常检测算法

为了及时有效地发现偶发或蓄意的水质异常,保障饮用水供水安全,在总结现有异常检测算法的基础上,提出基于自回归(AR)模型和模糊C-均值聚类(FCM)的多因子融合水质异常检测算法.通过AR模型实现水质背景信号的高精度跟踪,采用FCM算法融合多种水质指标的AR预测残差,与设定阈值作比较并判断异常.实验结果表明,与单因子算法、直接融合水质指标监测值的算法、利用多维欧氏距离融合AR预测残差的算法相比,提出的多因子融合水质异常检测算法具有更高的异常检出率和较低的误报率.

基于局部异常因子算法的三维声纳单帧重建研究

海洋环境的复杂性会使三维声纳获取到的点云中存在异常点,从而影响点云的后期处理和可视化。将获取到的声纳数据依次进行三维波束成像、最大值滤波和坐标系转换,进而得到原始点云。提出将局部异常因子(LOF)算法应用到点云去噪、剔除干扰的异常点,并用一种改进三角网生长方法进行单帧重建。改进三角网生长法简化了三角网生成中关键的“第三点”搜寻过程,通过实际数据处理分析得知:相比于传统阈值去噪方式,基于LOF算法的去噪方式能够在保持目标真实轮廓的前提下有效剔除非目标点;经过所提去噪方式的声纳数据能够得到更贴合实际目标轮廓的三维重建结果。

基于RoBERTa与改进局部离群因子算法的专利新颖性测量

现有的专利新颖性测量方法需要依赖特定的领域知识以及专家的介入,性能差且耗时长,为此,提出了一种不依赖特定领域知识及专家的全自动化系统的识别新颖性专利的方法。首先利用鲁棒优化的BERT方法(robustly optimized BERT approach,RoBERTa)表示专利向量,以解决需要依赖技术领域的知识来表示专利的多义词问题;其次,利用数据点的密度分布并结合信息熵改进局部离群因子(local outlier factor,LOF)算法来确定离群点个数及数据点集,提高离群点的检测精度,结合RoBERT与改进的LOF在数值尺度上度量专利的新颖性。实验验证表明,所提方法测量的专利新颖性的得分与现有文献中的相关专利指标显著相关,并且识别出的新颖性专利具有更高的技术影响。

一种基于局部异常因子(LOF)的k-means算法

聚类分析算法是数据挖掘技术的一个重要分支,目前其研究已经广泛应用于教育、金融、零售等众多领域并取得了较好的效果。本文结合了基于划分和密度的聚类思想,提出了一个适用于挖掘任意形状的、密度不均的、高效的聚类算法。

基于双向邻居修正的局部异常因子算法

针对现有离群点检测算法存在参数选取困难、效率差和精度低等问题,提出了基于双向邻居修正的局部异常因子算法。为了解决所提问题,首先提出了基于双向邻居的搜索算法,降低邻居搜索占用时间,然后使用双向邻居的修剪算法减少参数输入以及不必要的异常值计算。同时提出了基于双向邻居的修正因子,并利用反向邻居进一步提高计算精度。实验结果表明,所提算法减少了参数选取,提高了时间效率,同时基于双向邻居的修正因子使算法在合成数据集和UCI数据集上的准确率更高。

基于像元递归的高光谱局部异常检测算法

阐述了基于传统RX算法(Reed-Xiaoli Detector,RXD)架构的高光谱实时局部异常检测算法研究方案.基于高光谱空间成像方式的特点,针对摆扫型成像光谱仪逐像元成像的机理,采用局部因果阵列窗,两次利用Woodbury矩阵求逆引理,实现高光谱目标的局部异常检测.首先,将经典的矩阵窗改进为滑动因果阵列窗;然后,对局部实时算子的因果阵列窗窗长的参数设定进行优化,选取四组数据进行测试对比,选取最优参数;最后,就检测结果灰度图、ROC曲线(Receiver Operating Characteristic Curve)、AUC数值(Area Under Curve)以及算法运行时间等四个方面,对局部异常检测算子与经典双窗算子、全局实时算子分别进行仿真实验比较.结果表明,虽然因果阵列窗窗长的参数优化使局部异常检测算子的计算复杂度有略微升高,但异常目标点的观测更加清晰,AUC值明显提高,具有更好的检测效果.

基于K均值聚类与局部离群因子算法的故障检测研究

针对化工生产过程的多工况、数据多模态问题,提出一种基于K均值聚类的局部离群因子故障检测方法。首先利用K均值聚类算法对多模态工业数据进行聚类,将各个模态的数据分离出来,然后运用局部离群因子算法在各个模态下单独建立模型,并且确定各个模态下的局部离群因子控制限。检测时首先判断样本属于哪一类,然后在相应类别下求取局部离群因子值并与此类别下的控制限进行比较,确定是否为故障数据。将此方法运用到TE过程的多模态数据中,并且将此方法与单独应用局部离群因子算法做故障检测对比,结果表明:所提算法可以大幅提高故障的检测率。

局部异常因子优化的椭圆拟合算法及其在光纤振动传感相位解调中的应用

已有的椭圆拟合算法利用李萨如图形解决了非理想3×3耦合器所引入的解调结果误差,但在研究中没有充分考虑电路噪声与相位噪声对李萨如图形的影响.针对噪声影响提出了基于局部异常因子优化的3×3耦合器椭圆拟合解调方法,可以有效地消除李萨如图形中因噪声产生的离群点.仿真结果表明,该方法能够实现准确解调,利用蒙特卡洛分析得出综合误差率约为0.13%,验证了方法的稳定性.与传统最小二乘拟合方法相比,所提方法有效地提高了信号解调的稳定性和精确度.

IncLOF:动态环境下局部异常的增量挖掘算法

异常检测是数据挖掘领域研究的最基本的问题之一 ,它在欺诈甄别、贷款审批、气象预报、客户分类等方面有广泛的应用 以前的异常检测算法只适应于静态环境 ,在数据更新时需要进行重新计算 在基于密度的局部异常检测算法LOF的基础上 ,提出一种在动态环境下局部异常挖掘的增量算法IncLOF ,当数据库中的数据更新时 ,只对受到影响的点进行重新计算 ,这样可以大大提高异常的挖掘速度 实验表明 ,在动态环境下IncLOF的运行时间远远小于LOF的运行时间 ,并且用户定义的邻域中的最小对象个数与记录数之比越小 。