虚拟社区网络低维冗余数据快速挖掘系统设计

虚拟社区网络低维冗余数据本体结构属性难以确定,导致不能挖掘出全部的低维冗余数据,为此设计了虚拟社区网络低维冗余数据快速挖掘系统。利用基于ARM72TDI芯片的数据采集器获取原始数据,选取适当的方式进行数据读取与传送。采用自适应特征调度方法构建低维冗余数据聚类相似性函数,通过用四阶累积量切片压缩处理数据。引入权重因素,计算虚拟社区网络节点间相似度,分析虚拟社区网络用户之间多重关系。采用邻域空间交叉融合方法提取数据本体结构属性,以此实现低维冗余数据挖掘。测试结果表明,该系统能够挖掘出全部低维冗余数据,数据挖掘总耗时为21.3 s,说明该系统能够全面、快速挖掘出低维冗余数据。

加权社会网络低维冗余数据快速挖掘算法仿真

在进行加权社会网络低维冗余数据挖掘时,由于加权社会网络稳定性低,且挖掘聚类效果差,导致挖掘耗时长与挖掘精度较低,因此设计加权社会网络低维冗余数据快速挖掘算法。构建加权社会网络模型,提升该网络稳定性的同时对收集到的数据进行可视化分析。通过特征选择获取数据冗余特征,计算出低维冗余聚类数据的支持度,利用支持度与可信度对低维冗余数据关联规则进行评价,并按照直接属性对其限制,大幅度减少无用规则的产生。通过属性位复用方法建立候选区域,生成关联规则集,对符合关联规则集的低维冗余数据进行聚类,从而实现数据的快速挖掘。仿真结果表明:所提方法的挖掘聚类效果好、挖掘精度高、耗时短,具有可行性。

利用低数据率HRRP序列进行弹道中段目标识别

雷达目标识别是弹道防御阶段的关键环节,为节约雷达时间资源和降低对计算机处理能力的要求,需研究低数据率雷达回波信号的弹道中段目标识别方法,本文以低数据率目标高分辨一维距离像序列(High Resolution Range Profile,HRRP)为研究对象,提出了基于图像投影法的进动频率特征提取算法和基于特征级融合的弹道中段目标识别方法,解决了由于HRRP回波序列数据率过低而导致的时频曲线周期模糊和单一特征造成目标识别准确率浮动大的问题。本文通过仿真弹道导弹中段飞行场景中弹头、重诱饵、轻诱饵、碎片目标的特性数据,同时考虑目标尺寸、形状和微运动模型等差异,结合仿真数据对本文所提算法进行验证。实验结果表明在低数据率(10~100 Hz)下,HRRP序列利用本文算法提取的进动频率特征结果误差值小于0.05 Hz,具有较高准确性和稳定性,通过特征融合方法联合进动频率和目标结构特征将弹道中段目标的识别准确率提升到了96%以上且趋于稳定。

人脸姿态表情的低维表示

人脸姿态表情变化是影响人脸识别的重要因素,传统方法主要从像素角度对人脸姿态表情进行分析。根据姿态表情的拓扑结构分析人脸姿态表情,应用非线性降维方法将高维图像数据嵌入到低维空间。该算法表示了不同姿态表情的非线性结构,具有平移、旋转等不变特性。实验证明,该方法能有效地表征人脸姿态表情的细微变化,不同人脸姿态表情在低维空间的分布是一致的,通过其邻域脸谱图像可以精确重构原来的脸谱图像。

双编码半监督异常检测模型

异常检测是机器学习领域广泛研究的一个热点问题,对于工业生产、食品安全、疾病监测等都具有重要作用。当前最新的异常检测方法多基于少量可用的有标记样本和大量无标记样本联合训练半监督检测模型。然而,现有的半监督异常检测模型多采用深度学习框架,在低维数据集上由于缺少足够多的特征信息,难以学习到准确的数据边界,检测性能不佳。针对该问题,提出了双编码半监督异常检测模型(Dually Encoded Semi-supervised Anomaly Detection, DE-SAD),充分利用可获得的少部分有标记数据结合大量无标记数据进行半监督学习,通过双编码阶段约束模型学习更准确的正常数据隐含流形分布,有效拉大了正常数据和异常数据的差距。DE-SAD在来自不同领域的多个异常检测数据集上都表现出优越的异常检测性能,在低维数据上的检测性能尤为突出,其AUROC指标相比当前最优的异常检测方法最高提升了4.6%。

基于t-SNE降维预处理的网络流量异常检测

网络流量中大多数流量都是正常的,但经常会出现偏离正常范围的异常流量,主要由DDOS攻击、渗透攻击等恶意的网络行为引起,这些异常行为通常会导致网络质量下降,甚至网络直接瘫痪。因此引入网络安全态势的预测,在仅知道正常网络流量的情况下判断网络中的异常。异常检测是一种网络安全态势的预测方法,用来判断网络中是否有异常。现有的异常检测算法由于无法准确提取网络数据包的低维特征导致算法的性能不佳,因此,需要找到网络数据包的准确的低维特征表示,该低维特征表示能够区分网络数据包是正常的还是有攻击的。为此,本文引入基于t-SNE降维的NLOF异常检测算法。该算法采用t-SNE算法自动预处理网络数据包以获得低维的网络数据包特征,之后将得到的低维的网络数据包特征作为NLOF算法的输入进行异常检测。其中,本文的NLOF算法首先采用k-means算法将网络数据包聚类成为K个簇,并将网络数据包数量小于N个的簇标记为异常簇,之后将未被标记为异常簇的网络数据包作为LOF算法的输入进行异常检测。在ISCX2012数据集上的实验结果表明,基于t-SNE降维的LOF算法达到最优性能时,准确率为98.46%,精确度为98.38%,检测率为98.54%,FAR为0.66%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.18个百分点、0.02个百分点和0.01个百分点。基于t-SNE降维的NLOF算法达到最优性能时,准确率为98.53%,精确度为98.86%,检测率为98.86%,FAR为0.32%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.25个百分点、0.34个百分点和0.41个百分点。这是异常检测中首次采用t-SNE算法自动提取低维的网络数据包特征。此外,LOF算法仅能捕获异常点,而本文的NLOF算法能够同时捕获异常点和异常簇。

基于叉积约束变换的数据属性空间结构优化方法

低维数据样本集中不同类别数据在属性空间中存在混叠现象,无法对类别数据进行有效的表征,导致分类识别效果不理想.从原始数据空间的本征结构出发,提出一种基于叉积变换和CH指标相结合的叉积约束变换方法.对比于传统的空间优化方法,叉积约束变换方法基于属性间的强相关表征次团结构的紧密性,对强相关属性利用叉积变换实现数据高维空间优化,增加强相关属性的非线性协相关信息;并基于类别数据空间邻接结构特征,利用CH指标定义增维约束条件,减少无约束数据增维带来的冗余.以部分UCI数据集(Bupa、Seeds、Tae)和测井岩性数据为例进行测试,实践表明:该方法在保留原始数据属性空间结构信息的基础上,优化了数据在高维属性空间的结构,增强了类别数据的可分性.对比于传统的空间结构优化方法,实现了测试数据分类识别精度的提高.