基于孤立森林的多离群点数据检测算法设计

精准找出异常离群数据有利于确保大规模数据在应用中的精确度,为此,设计了基于孤立森林的多离群点数据检测算法。首先,采用近似符号聚合算法处理大规模数据的多条件时间序列,再通过计算欧氏距离分析多条件时间序列的相似度,而后采用加权调整法调整相似曲线,剔除其中的异常数据,完成对大规模数据的清洗;利用清洗后的数据构建孤立树形成孤立森林,将待检测数据作为孤立森林的输入量,通过计算数据样本点到每棵树根节点的距离,实现对离群点数据的检测。实验结果表明:该算法能够有效地检测出离群点数据,在针对大规模数据离群点的检测时,检测结果精确度较高。

基于孤立森林算法的企业分布式财务不良数据检测研究

为了实现企业分布式财务不良数据的高效、精准检测,为企业财务安全决策提供重要数据保障,基于孤立森林算法,对企业分布式财务不良数据检测开展研究。通过分析企业分布式财务元数据管理体系,结合元数据仓库中的元数据目录映射实际企业分布式财务数据列表,提取企业分布式实际财务数据;从噪声干扰处理、数据缺失填补等角度,结合Z-score与中位数插值方法对数据预处理,以保证企业分布式财务数据质量;根据数据方差、标准差、偏度、峰度等统计量,计算完成预处理后数据中不良数据的分布特征,并基于孤立森林算法、融合孤立树的二叉树结构,最终实现企业分布式财务不良数据的高效、精准检测。实验结果表明:利用本文设计方法对数据集中预处理后,能够有效解决数据的异常空间分布状态、填补缺数部分数据,修复受噪声干扰产生的畸变状态;检测消耗时间最高值为5.4s,检测精准度最高值为0.93,检测效率与检测精准度具有比较优势。

结合随机矩阵理论和张量分解的非线性导航大数据异常识别

为了提高导航大数据的精度,需要识别其中存在的异常数据。为了提升非线性导航大数据异常识别精度和效率,提出了基于张量分解的非线性导航大数据异常识别方法。首先,对非线性导航大数据进行张量分解,采用滑动矩形窗划分数据获得若干个时窗段,然后引入db4小波多尺度分解各窗内数据,获得尺度不同的小波系数,并利用重构小波系数张量代替缺失数据,完成数据缺失值填补,提高数据完整度;其次,将互信息作为度量标准,建立数据的互信息矩阵,对互信息矩阵中的元素展开规范化和中心化处理,通过奇异值分解获得数据特征;再次,引入随机矩阵理论对特征展开优化选择,计算导航大数据特征的重要度,获得高精度的数据特征;最后,建立孤立树,通过孤立树给出数据特征的异常得分,以此完成非线性导航大数据的异常识别。实验结果表明,所提方法的缺失值填补精度保持在0.9以上,特征提取覆盖率达到86.3%,特征冗余度低于6.12%,异常识别精度G-mean值高于60%,识别时间低于8 s,有效提升了非线性导航大数据的特征提取精度、识别精度及识别效率。

基于孤立森林的移动终端网络数据异常检测

为了提高移动终端网络数据安全,提出基于孤立森林的移动终端网络数据异常检测方法。将移动终端数据流视作网络流量,根据信息增益原理完成数据片段划分,获取数据片段信息特征,并采用归一化处理验证数据特征可靠性。使用孤立森林算法中异常分数算法对获取到的数据特征进行数据异常检测,并设定相应的判定条件完成检测过程。构建实验环节,通过模拟移动终端数据传输的形式,验证文中方法与传统方法的使用效果,文中方法的检测率与误差率的实验结果均优于传统方法。文中方法对于动态数据的检测能力较佳,对网络数据具有较高的控制能力。

科尔沁沙地家榆林的种子散布及幼苗更新

家榆是典型的风播植物,在科尔沁沙地可以形成单一优势种林地。通过对林缘和孤立树不同方向从树基部向外的有序取样与林下和林窗的随机取样调查,分析了家榆林下和林窗不同生境的种子沉降和幼苗分布特征、林缘和孤立树种子散布方向的差异性与规律性。结果表明,家榆种子密度在林下生境阴坡和阳坡明显大于丘顶和丘底,在林窗生境丘顶明显大于丘底。家榆向周围不同方向种子散布的距离和累积数量均有较大差异,其中林缘和孤立树均以当地多逆风频率的西南方向最近,累积数量也最少;孤立树以多顺风频率的东北方向最远,累积数量也最多。林缘和孤立树共6个方向断面从树基部向外单位面积种子数量频度均适合于韦伯分布和对数-正态分布(X2(α)<0.500)密度函数,具有相同的种子散布格局。家榆幼苗密度在林下阴坡明显大于阳坡,林下和林窗均为丘顶明显大于丘底。林缘19 m内家榆幼苗呈连续分布。在科尔沁沙地,如果不加限制或人为扰动,家榆林不仅可以很好地进行自然更新,而且可以在适宜的沙地生境逐渐扩大其分布空间。

基于随机子空间的扩展隔离林算法

针对扩展隔离林(EIF)算法时间开销过大的问题,提出了一种基于随机子空间的扩展隔离林(RS-EIF)算法。首先,在原数据空间确定多个随机子空间;然后,在不同的随机子空间中通过计算每个节点的截距向量与斜率来构建扩展孤立树,并将多棵扩展孤立树集成为子空间扩展隔离林;最后,通过计算数据点在扩展隔离林中的平均遍历深度来确定数据点是否异常。在离群值检测数据库(ODDS)中的9个真实数据集与呈多元分布的7个人工数据集上的实验结果表明,所提RS-EIF算法对局部异常很敏感,相较EIF算法减少了约60%的时间开销;在样本数量较多的ODDS数据集上,该算法识别精度高出孤立森林(iForest)算法、轻型在线异常检测(LODA)算法和基于连接函数的异常检测(COPOD)算法2~12个百分点。RS-EIF算法在样本数量大的数据集中识别效率更高。

科尔沁沙地黄榆种子散布的空间差异及规律

黄榆(Ulmus macrocarpa)是典型的风播植物,在科尔沁沙地可以形成单一优势种林地。通过对其林下随机取样和林缘与孤立树不同方向从树基部向外的有序取样调查,分析了黄榆林下和林缘外不同距离的种子沉降特征、林缘和孤立树种子散布方向的差异性与规律性。结果表明,黄榆平均种子密度以林下最大,林缘3m处已显著减小,林缘外随着距离增加黄榆平均种子密度呈指数减少态势,且越远越不均匀。林缘和孤立树不同方向在26m内,单位面积连续分布的种子累积数量均以顺风向频率大的东北方向最多,以逆风向频率大的西南或西方向最少。林缘和孤立树共10个方向的垂直断面从树基部向外的单位面积种子数量频度均符合Weibull分布和对数-正态分布密度函数(χ2(α)<0.900),具有相同的种子散布格局。在科尔沁沙地自然条件下,黄榆在各方向具有相同的"远距离"种子散布机制。