基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。

基于注意力时间卷积网络的加密流量分类

针对目前大多数加密流量分类方法忽略了流量的时序特性和所用模型的效率等问题,提出了一种基于注意力时间卷积网络(attention temporal convolutional network,ATCN)的高效分类方法。该方法首先将流量的内容信息与时序信息共同嵌入模型,增强加密流量的表征;然后利用时间卷积网络并行捕获有效特征以增加训练速度;最后引入注意力机制建立动态特征汇聚,实现模型参数的优化。实验结果表明,该方法在设定的两项分类任务上的性能都优于基准模型,其准确率分别为99.4%和99.8%,且模型参数量最多可降低至基准模型的15%,充分证明了本文方法的先进性。最后,本文在ATCN上引入了一种基于迁移学习的微调方式,为流量分类中零日流量的处理提供了一种新颖的思路。

基于改进长短期记忆网络的新能源场站网络安全评估方法研究

为了解决新能源大规模并网造成现有新能源场站网络安全防护体系无法满足网络异常监测和告警需求的问题,提出一种基于改进长短期记忆网络的新能源场站网络安全评估方法。首先,根据新能源场站网络系统架构,分析网络安全发生原因;其次,基于随机森林算法求解新能源场站网络流量的基尼系数,进而求出网络流量所有特征的重要系数,选出重要特征;最后,将重要特征输入长短期记忆网络中,利用注意力机制自适应分配数据的时间和特征,加强对网络流量中重要时间和特征的重视,进而提高模型对网络安全评估的准确性。试验结果表明,该方法能够准确评估新能源场站网络安全状态,与支持向量机、卷积神经网络、传统长短期记忆网络相比,评估准确率分别提升了12.65%、9.34%、8.79%,提升了新能源电力系统的网络安全状态感知、评价和告警能力。

基于残差密集注意力网络的图像超分辨率重建

针对现有图像超分辨率重建算法中细节丢失和图像边缘模糊等问题,提出了一种基于残差密集注意力网络的图像超分辨率重建方法。该方法采用了密集连接和残差连接的结构来构建残差网络,充分利用低层特征与高层特征之间的信息交互,提取更高层次的图像特征。同时,融合通道注意力和空间注意力自适应地选择重要特征,并将这些特征进行加权融合,从而更好地恢复图片的纹理细节。实验结果表明,文中所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上表现优异。

基于目标检测算法的智能防护研究

为提高医护人员一次性防护装备的检测准确率和精确率,降低感染风险和环境污染,针对现有目标检测算法在复杂环境下性能较差的问题,本文通过引入多任务损失函数、最小绝对值偏差、复杂尺度感知注意力和空间感知注意力以及可变卷积的方式优化目标检测算法,提出多尺度感知网络(MSTDA)和多重感知注意力检测模型(MATDA)并进行医护人员防护的智能算法实验。实验结果表明:MSTDA模型在准确率和精确率上均优于现有YOLO系列模型及Faster RCNN模型,且MATDA模型在准确率和预测精确率上表现最佳。正确佩戴口罩时模型MSTDA比其他3种模型分别高出17.8%、2.7%、16.3%,未正确佩戴口罩时比其他3种模型分别高出17.3%、4.1%、16.1%。消融实验验证了尺度注意力模块和空间注意力模块的有效性。未来工作将致力于降低模型复杂度,提升计算速度,并考虑其他因素的交叉影响,以增强智能检测方法的适用性。

基于多头注意力机制的飞机发动机寿命预测研究

针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个1DCNN-TCN模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。

类内-类间通道注意力少样本分类

针对元学习少样本分类样本特征鉴别能力不足的问题,提出了一种类内-类间通道注意力少样本分类方法(Intrainter Channel Attention Few-shot Classification,ICAFSC)。ICAFSC在原型网络基础上设计了一个类内-类间通道注意力模块,该模块通过类内-类间距离度量计算通道权重实现特征加权,提高特征对类别的鉴别能力。为了克服直接在元训练阶段学习类内-类间通道注意力模块容易出现过拟合或欠拟合现象的问题,ICAFSC在原型网络的元训练之前增加一个预训练阶段。该阶段设计具有大量标记样本的分类任务,并利用这些任务充分训练类内-类间通道注意力模块,促使该模块达到较优的状态。在原型网络的元训练和元测试阶段,ICAFSC冻结类内-类间通道注意力模块的参数,分别实现少样本分类经验的学习与迁移。在MiniImagenet数据集上分别开展了1-shot和5-shot的少样本分类实验。实验结果表明:本文提出的类内-类间通道注意力少样本分类方法与原型网络相比,在1-shot和5-shot条件下分类准确率分别提高了1.93%和1.15%。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

嵌入注意力的GaborCNN快速人脸表情识别方法

人脸表情识别是智能人机交互研究的基础问题之一,面部情绪变化与嘴、眼睛、眉毛、鼻子等区域密切相关,这些特征对识别表情非常重要。为此,提出一个由4个Gabor滤波卷积层、注意力模块和两个全链接层组成的注意力Gabor卷积网络,同时使用不平衡损失focalloss对网络进行优化。首先,通过Gabor核与传统卷积滤波器调制的Gabor定向滤波器相较于传统卷积滤波器能更好地捕获感兴趣区域的信息,然后利用通道注意力、空间注意力模块提取区域中更关键的特征。在FERPlus和RAF-DB数据集上的实验表明,该模型结构简单、易于训练、计算成本低,识别精度分别达到88.39%、87.22%。

基于残差混合监督网络的无人机目标阴影检测

无人机在检测和跟踪目标过程中受到目标伪装、目标遮挡、移动躲避以及假目标等因素的干扰,而无人机目标附近的阴影区域加剧了这些因素对目标检测和跟踪性能的影响,因此检测无人机目标阴影区域是无人机领域的重要研究任务之一。现有无人机目标阴影检测方法面临训练数据数量有限、数据收集标注困难以及无人机目标中存在大量尺寸较小的细碎阴影区域等问题,针对这些问题,提出一种基于残差混合监督网络的无人机目标阴影检测算法。首先针对无人机目标阴影检测任务的特点设计分辨率注意力网络,在结合底层纹理特征和高层语义特征的过程中,更准确地保留底层纹理特征。然后设计混合监督网络扩充训练数据集,结合普通阴影检测数据集和无人机目标阴影检测数据集训练教师网络,使用无人机阴影检测数据集和教师网络的参数训练学生网络。同时设计残差图像,利用教师网络检测结果和标准结果之间的残差图像扩充训练数据集,使阴影检测网络更加关注细碎阴影区域。最后,在2个公开实验数据集上和已有方法进行对比实验,在各个评价参数上取得了最多41.6%的提升效果,证明所提无人机目标阴影检测算法较好的解决了现有方法存在的问题,具有较高的准确性。