基于注意特征融合和联合损失的表情识别网络

针对目前表情识别任务中模型结构复杂、参数量大及准确率低的问题,提出了一种基于注意特征融合和联合损失的人脸表情识别模型。在构建的网络模型中加入注意力特征融合模块,解决融合不同尺度特征时出现的信息丢失的问题。将卷积神经网络筛选得到的浅层特征与深层特征进行融合,以保证网络能够充分学习到图像的不同语义特征信息,提升判别效果。为了减小表情类内距离、增大类间差别,采用了联合损失函数对模型进行训练,提升模型的识别准确率。使用改进后的模型在表情数据集RAF-DB、CK+和Fer2013上测试,分别达到了83.7%、96.5%和70.3%的准确率,在降低模型参数量的同时保证了准确率,对于未来移动端设备进行人脸表情识别具有一定的参考价值。

基于高效卷积注意力特征融合的道路目标检测

针对YOLOv5s基准模型参数量大、特征尺度差异化等问题,提出基于高效卷积注意力特征融合的轻量级目标检测模型.首先,构建基于幻影操作的轻量化特征提取模块,在保证检测精度接近原模型的前提下,提高模型的实时性.其次,优化通道注意力和空间注意力模块,提出基于高效卷积的注意力特征融合模块,并设计兼具检测精度与实时性的轻量级目标检测模型.在具有不同复杂道路场景的数据集BDD100K上开展实验.结果表明,相较于基准模型,所提模型的检测精度和推理速度均得到提升,其中全类平均检测精度提升了1.4%,帧率提升了28.2%.相较于当前行业应用中主流的深度学习模型,所提模型在精度与速度的均衡性上表现出显著优势.

多尺度注意力特征融合的单图像超分辨率研究

高分辨率意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。基于生成对抗网络的图像超分辨率由于具有生成丰富细节的潜力,近年来受到越来越多的关注。针对现有的网络模型忽略从特征中学习本质纹理特征和感受野有限的问题,基于Real-ESRGAN和多尺度注意力特征融合,对网络进行优化,将残差稠密块替换成大核分解和多尺度学习相结合模块与全局学习与下采样模块的双分支结构方法,提出一种多尺度注意力融合的单图像超分辨率重建算法,增强每个局部与全局令牌对之间的交互,从而形成更丰富和信息量更大的表示。对数据集进行2,3,4倍超分辨率重建实验,通过峰值信噪比(PSNR)、结构相似性(SSIM)对重建结果进行评价,与SRCNN、SRGAN、ACMF、MSRDN、WYD、LBW、YJX、Real-ESRGAN等方法进行对比。结果表明,该算法优于其他模型,且具有更好的直观视觉效果。

融合注意力特征及动态卷积的肺结节辅助诊断

针对肺结节关键影像征象信息不易获取,部分卷积神经网络(convolutional neural networks,CNN)模型对肺结节的识别率不高的问题,提出一种融合注意力特征的动态卷积残差网络(dynamic convolutional residual networks incorporating attention features,DcANet),并在有效实现肺结节良恶性分类的基础上对所提模型的诊断结果进行可视化分析。此网络以适应肺结节三维小尺寸输入特点的残差网络为基本框架,在DcABlock部分使用可以自适应调整卷积参数的动态卷积以及迭代注意特征融合模块,使模型能够更准确地获取肺结节信息,提高模型的表征能力。此外,还使用类激活映射将三维图像的各层切片进行可视化分析。实验在最终测试集上的准确率为85.87%,平衡F分数(F1)值为82.67%,敏感度和特异性的综合指标Gmean值为85.51%。实验结果表明:该网络可以提升对肺结节良恶性分类的准确性,诊断结果具有可信性,有一定的临床应用价值。

跨域注意力特征融合的说话人确认方法

针对目前说话人确认系统中前端特征的语音信号样点间结构信息缺失问题,提出了跨域注意力特征融合的说话人确认方法。首先,提出了一种基于图信号处理的图频域特征提取方法来有效利用语音信号的结构信息,将语音信号帧的每个样点作为图节点,构建语音图信号,通过图傅里叶变换以及滤波器组提取图频域特征。其次,提出了一种由残差模块与挤压-激励模块构成的注意力特征融合网络,对传统时频域特征与图频域特征进行跨域融合,来提升说话人确认系统的性能。最后,在VoxCeleb、SITW和CN-Celeb数据集上进行实验。实验结果表明,所提方法在等错误率以及最小检测代价函数的评价指标上,优于基线模型ECAPA-TDNN。

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。

基于特征共现的无监督哈希检索算法

现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法(Unsupervised Hash retrieval algorithm based on Feature Co-occurrence,UHFC)。该算法共分为两个阶段:深度特征提取和无监督哈希生成。为提高图像特征的质量,UHFC在卷积神经网络(Convolutional Neural Network,CNN)结构的最后一层卷积后引入了共现层,用来提取特征之间的依赖关系。并用共现激活值的均值来表示共现程度,解决原共现操作存在相同两个通道的共现值不一致的问题;接着,在特征融合部分UHFC设计一种适用于共现特征融合的,结合空间注意力机制的注意特征融合方法(Attention Feature Fusion method based on Spatial attention,AFF-S)。通过注意力机制自主学习共现特征与深度特征融合的权重,降低特征融合过程中背景因素的干扰,提高最终图像特征的表达能力。最后,根据最优传输策略,UHFC采用双半分布哈希编码对图像特征到哈希码的映射过程进行监督,并在哈希层后添加一层分类层通过KL损失进一步提高哈希码所包含的图片信息,整个训练过程中无需数据集的标注,实现无监督哈希的生成。实验表明,UHFC对哈希编码质量改善较好,在Flickr25k和Nus-wide数据集上其平均均值精度(mean Average Precision,mAP)分别达到了87.8%和82.8%,相比于baseline方法分别提高了2.1%与1.2%,效果明显。

多视角多注意力融合分子特征的药物-靶标亲和力预测

近期深度学习在药物-靶标亲和力(DTA)任务上受到极大关注,然而现有工作多将分子单一结构嵌入为向量,忽略了多视角融合分子特征对最终特征表示提供的信息增益。针对单一结构分子存在特征不完备性的问题,提出了一种基于注意力融合多视角分子特征的预测DTA的端到端深度学习方法,其核心模块为多视角分子结构嵌入(Mas)和多注意力特征融合(Mat)。首先,使用Mas模块将多视角分子结构嵌入到特征向量空间;然后,通过Mat模块融入分子特征层级的注意力机制,从而对不同视角的分子特征进行加权融合;其次,根据药物-靶标相互作用(DTI)执行两者特征级联;最后,利用全连接神经网络回归预测亲和力。在Davis和KIBA数据集上的实验验证了训练比率、多视角特征融入、多注意力融合、以及相关参数对亲和力预测性能的影响。与GraphDTA方法相比,所提方法的均方误差(MSE)在Davis和KIBA两个数据集上分别降低了4.8%和6%。实验结果表明,注意力融合多视角分子特征能够捕获对蛋白质靶位上链接的相关性更高的分子特征。

融合注意力特征的多任务肺结节检测和分割

针对CT图像肺结节检测和分割模型复杂且精度低的问题,提出一种端到端的融合注意力特征的多任务肺结节检测和分割算法。利用多任务模型对肺结节检测和分割进行建模,实现模型参数的共享和计算复杂度的降低;提出残差注意力特征融合模块融合尺度和语义不一致的特征,获取更加丰富的特征信息;采用自适应多任务损失函数,实现主任务和辅助任务损失权重的均衡。在LIDC-IDRI数据集上进行了详尽的实验,肺结节检测的CPM得分达到90.94%,肺结节分割的IoU和DSC分数分别为71.78%和80.89%,验证了算法的有效性。

注意力特征融合SSD算法对遥感图像的目标检测

针对多尺度单发射击检测(Single Shot MultiBox Detector,SSD)算法对小目标物体检测效果不佳的问题,提出注意力特征融合SSD(Attention Feature Fusion SSD,AFF-SSD)算法。首先,为了提升网络对小目标物体的检测性能,使用注意力特征融合模块对浅层特征图中的特征信息融合,在降低噪声的同时增强特征图中远距离像素的相关性;其次,针对训练过程中正负样本失衡导致的模型退化问题,结合聚焦分类损失函数对SSD算法中的损失函数优化;最后,引入迁移学习解决因训练数据较少导致的过拟合问题。实验结果表明,与SSD算法相比,AFF-SSD算法平均准确率均值提高8.09%,经过迁移学习后,AFF-SSD算法平均准确率均值提高3.47%。

基于多模态融合的GF-5号遥感图像云检测

云检测对于遥感图像的应用具有重要意义。目前已有的云检测方法关于遥感图像的偏振信息研究较少,性能和泛化能力有限。为有效利用遥感图像偏振信息,提出了一种基于深度学习的多模态融合遥感图像云检测方法并进行了初步实验评价。该网络是一种三参数输入流架构,具有编码器-解码器结构,利用通道空间注意模块对遥感图像中的反射率特征和偏振特征进行多模态融合。在解码器上采样阶段,利用迭代注意特征融合方法融合高、低级特征映射。评价实验数据集来源于多角度偏振成像仪(DPC)云产品和云掩码产品。评价实验结果表明,所提出的网络模型实现了良好的云检测性能,识别准确率达到93.91%。

基于多注意力机制的生成对抗网络的遥感图像超分重建

针对现有超分辨算法重建后的遥感图像模糊,含有伪影和噪声等问题,提出一种基于多注意力机制的生成对抗网络。首先,在生成器的残差块中引入高效注意力机制,增强全局相关性,提高模型的特征提取能力;其次,利用迭代注意特征融合模块对输入的图像和经过生成器生成的高层语义特征图进行融合,代替长跳跃连接常用的相加操作,减少输入图像进行相加操作时导致的信息损失,使重建后的图像更加清晰;最后,基于WGAN网络优化模型训练,促进网络训练的稳定,加快损失函数的收敛。在不同数据集上验证上述方法,结果表明,相较次优算法,所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别提高了0.062~0.122 dB和0.03~0.08。

基于角度引导Transformer融合网络的多站协同目标识别方法

多站协同雷达目标识别旨在利用多站信息的互补性提升识别性能。传统多站协同目标识别方法未直接考虑站间数据差异问题,且通常采用相对简单的融合策略,难以取得准确、稳健的识别性能。该文针对多站协同雷达高分辨距离像(HRRP)目标识别问题,提出了一种基于角度引导的Transformer融合网络。该网络以Transformer作为特征提取主体结构,提取单站HRRP的局部和全局特征。并在此基础上设计了3个新的辅助模块促进多站特征融合学习,角度引导模块、前级特征交互模块以及深层注意力特征融合模块。首先,角度引导模块使用目标方位角度对站间数据差异进行建模,强化了所提特征与多站视角的对应关系,提升了特征稳健性与一致性。其次,前级特征交互模块和深层注意力特征融合模块相结合的融合策略,实现了对各站特征的多阶段层次化融合。最后,基于实测数据模拟多站场景进行协同识别实验,结果表明所提方法能够有效地提升多站协同时的目标识别性能。

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。

多尺度交叉注意力特征融合的语义分割网络

针对DeepLabv3+语义分割模型在解码阶段仅融合单尺度低级特征,高级与低级特征融合效果差,导致目标分割精度低的问题,本文基于注意力特征融合(AFF)结构和DeepLabv3+网络,提出了CAAF-DeepLabv3+分割网络。首先,该网络引入不同阶段的多尺度浅层特征来优化空间位置信息。其次,采用交叉方式改进AFF,获得交叉注意力特征融合(CAFF)结构,提高特征间的信息交互,且通过学习高级和低级特征在通道上的重要程度,增强显著性特征,克服语义和尺度不一的特征融合问题,以获取高分辨率和高语义信息的融合特征。在道路标线数据集上进行训练和测试的结果表明,对于目标轮廓复杂、小尺寸分布较多的情况,该网络与UNet、PSPNet、DeepLabv3+、MobileNetv2-DeepLabv3+、AFF-DeepLabv3+网络相比较,平均交并比(MIoU)值和平均像素准确率(MPA)值达到最高,漏分割和错误分割明显降低。

结合注意力特征融合的八度卷积表情识别方法

针对目前面部表情识别特征表达不足、识别精度低及参数多的问题,提出了一种结合注意力特征融合的八度卷积表情识别方法。主要创新点在于将注意力特征融合机制引入模型,优化不同尺度特征的融合;采用深度可分离网络替代传统卷积,大幅减少参数;并引入BN和PReLU提升模型稳定性和性能。实验显示,该模型在CK+和Fer2013数据集上准确率分别达98.91%和74.03%,展现了优秀的泛化能力和准确度。

seqAFF-ResNet:面向新冠肺炎的诊断模型

新冠肺炎的计算机辅助诊断是一种实现智能化影像诊断、临床诊断及临床分型的方法,在新冠肺炎的辅助诊断过程中,图像的病灶区域与组织边界对比不明显,导致模型不能较好地关注病灶区域,对有效特征的提取不够充分。针对上述问题,提出一个新冠肺炎辅助诊断模型seqAFF-ResNet(sequential attentional feature fusion-residual neural network)。设计串行注意力特征融合(sequential attentional feature fusion,seqAFF)模块,该模块串联条带注意力特征融合(strip attentional feature fusion,SAFF)模块和全局局部注意力特征融合(global local attentional feature fusion,GLAFF)模块,获取图像的纹理信息以及全局和局部信息,弥补卷积神经网络对于细节特征提取能力的不足,使得模型可以更好地关注于病灶区域;构造深浅层特征融合(deep and shallow feature fusion,DSFF)模块,使用深层特征的语义信息来影响浅层信息,同时将浅层的空间信息传入深层特征中,使深浅层特征进行有效融合,捕获丰富的上下文信息,实现跨层注意力特征增强,使网络能够更好地定位病变区域。与残差神经网络(residual neural network,ResNet)相比,seqAFF-ResNet准确率提升了3.42%,精确率提升了3.53%,F1分数提升了2.77%,AUC值提升了0.9%,实验结果表明,所提模型可以提高新冠肺炎的识别准确率,且与同类模型相比具有更好的性能。所提方法为新冠肺炎的辅助诊断提供了有效的识别方法,对新冠肺炎的计算机辅助诊断具有重要意义。

深度特征融合注意力与双尺度的运动去模糊

目的拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN(scale-recurrent network)方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比(29.91 dB)。在Lai数据集上,视觉上有最好的去模糊效果。结论实验结果表明,本文方法可以有效去除运动模糊并恢复细节。

基于注意力特征融合网络的手指静脉图像质量评价方法

为充分挖掘质量特征以提高手指静脉图像质量评价的性能,提出一种基于注意力特征融合的深度可分离卷积网络,将其用于手指静脉图像质量评价。该方法主要包括静脉纹路提取、深度质量特征提取、注意力特征融合和图像质量类别预测等四个步骤。使用深度可分离卷积代替传统卷积,减少网络参数,使网络轻量化。使用注意力特征融合代替特征串联融合,从手指静脉灰度图像和手指静脉纹路图像中挖掘更具区分性的质量特征。考虑到目前没有公开手指静脉图像质量数据库,手工标注山东大学手指静脉公开库中图像的质量标记。试验结果表明,本研究提出的方法在手工标注数据库上的图像质量分类正确率为89.67%,图像质量评价性能优于现有手指静脉图像质量评价方法。

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet(multiscale-attention net)以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。