基于Transformer的时序多模态融合特征的异常网络流量检测方法

针对当前卷积和循环神经网络相结合的模型无法有效表征网络流量的问题,提出一种基于Tansformer的时序多模态融合特征的异常网络流量检测方法。首先,以会话为单位切分网络流量,将会话中流量记录的统计特征分组。其次,利用多模态注意力编码器计算特征分组的融合特征,进而利用注意力机制对一个会话的所有流量记录并行建模,挖掘流量记录的时序多模态融合特征。最后,利用全连接层和softmax层对该特征进行线性变换和概率计算。在CIC-ToN-IoT数据集上的实验结果表明该方法切实可行,相较于对比方法,在取得较高的准确率和精度的同时,保持了最低的误报率。

一种基于时序关系网络的逻辑推理方法

逻辑推理是人类智能的核心,是人工智能领域一个富有挑战性的研究课题。人类的IQ测试问题是衡量人类智商水平高低和逻辑推理能力的常用手段之一,如何让计算机学习拥有类似人类的逻辑推理能力是一个非常重要的研究内容,其目的是使计算机从给定的图像中直接学习逻辑推理模式,而无需事先为计算机设计先验推理模式。基于此目的,提出了一种新的数据集Fashion-IQ,该数据集中的每个样本包含7张输入图片和1个标签,这7张图片分别为3张包含一种或多种逻辑的问题输入图片和4张选项输入图片,目的是利用机器学习3张问题输入图片中包含的逻辑来预测下一张图片,从而选择正确的选项。为了解决这个问题,提出了一种时序关系模型。针对每个选项,该模型首先使用卷积神经网络提取前3张输入图片和选项图片的空间特征;接着采用关系网络将这4个空间特征两两组合;然后采用LSTM提取前3张问题输入图片和该选项的时序特征,将时序特征与组合好的空间特征相结合得到时序-空间融合特征;最后对前3张输入图片与每个选项得到的时序-空间融合特征进行进一步推理,采用softmax函数进行打分,得分最高的选项就是正确答案。实验结果证明,该模型在此数据集上实现了比较高的推理准确度。

基于注意力机制—门控循环单元—BP神经网络的智能多工序工艺参数关联预测

鉴于流程制造工序间能质流耦合严重,性能指标影响因素众多,工艺参数时序特征显著,现有制造模式下难以精准预测产品质量,在分析流程制造工艺性能指标多维、强时序、关联耦合特征的基础上,提出一种基于注意力机制—门控循环单元-BP神经网络(Attention AM-GRU-BPNN)的多工序耦合参数关联预测方法。首先采用互信息方法筛选多态异构生产数据作为输入,建立ConvGRU自编码器,通过无监督学习对过程数据、工艺参数、操作参数等进行时序特征提取,同时引入时序注意力机制提取不同工序的耦合关联特征并进行向量嵌入,为不同工序的工艺参数分配注意力权重。在此基础上,设计Attention网络自学习不同时刻下工艺关联特征对质量性能指标的影响差异,再通过门控循环单元网络对重要的关联特征进行增强,并按照时序特征对单工序预测模型进行聚合,实现多工序时序特征融合,最后通过输出层BPNN神经网络精准预测产品工艺质量。实验表明,AM-GRU-BPNN有效提高了预测精度,从多工序角度为生产线工序的加工过程控制提供了依据。