基于傅里叶变换和kNNI的周期性时序数据缺失值补全算法

在机器学习和数据挖掘过程中,数据缺失现象经常发生。对缺失值的有效补全是数据预处理的重要组成部分,也是后续分析挖掘工作的基础。最近邻填充算法(kNNI)因其易于实现、计算方便和局部填充效果好等特性而被广泛应用。但是,它并不涉及全局信息,因而当大段缺失值发生时,补全效果会有所降低,而对于具有周期成分的时序数据,其效果更是急剧下降。幸运的是,傅里叶变换能够解析出周期数据中的不同周期成分,并能在此基础上通过逆变换基本实现数据复原,只不过其局部复原能力较弱。因此,本文结合傅里叶变换对周期性数据的全局复原能力和kNNI对局部数据的补全能力,提出了基于傅里叶变换的kNNI缺失值补全算法(FkNNI)。通过对大量模拟数据的测试结果表明,该算法比单纯的kNNI算法的缺失值补全准确性有很大提升。

基于残差神经网络的木马通信流量分析研究

在传统基于机器学习进行木马通信流量检测的方法中,流量特征的选取对识别结果的影响较大,有时需要专家主观的分析与选择,而加密木马流量则很难提取流量特征。针对这些问题,提出了一种基于残差神经网络(residual neural network,ReNN)的木马通信流量分析的方法。使用木马流量应用层中未加密信息作为分析对象,自动抽取流量特征并映射为灰度图,在卷积神经网络学习训练的基础上,利用残差块进行神经网络参数优化,构造出可以对木马流量特征自动提取、自主学习训练的残差神经网络分析模型。在开源木马流量数据集上的验证、测试结果显示,基于残差神经网络的木马通信流量分析模型相较于普通卷积神经网络基准实验,在木马发现准确率上提高了5%。