跨域注意力特征融合的说话人确认方法

针对目前说话人确认系统中前端特征的语音信号样点间结构信息缺失问题,提出了跨域注意力特征融合的说话人确认方法。首先,提出了一种基于图信号处理的图频域特征提取方法来有效利用语音信号的结构信息,将语音信号帧的每个样点作为图节点,构建语音图信号,通过图傅里叶变换以及滤波器组提取图频域特征。其次,提出了一种由残差模块与挤压-激励模块构成的注意力特征融合网络,对传统时频域特征与图频域特征进行跨域融合,来提升说话人确认系统的性能。最后,在VoxCeleb、SITW和CN-Celeb数据集上进行实验。实验结果表明,所提方法在等错误率以及最小检测代价函数的评价指标上,优于基线模型ECAPA-TDNN。

注意力特征融合SSD算法对遥感图像的目标检测

针对多尺度单发射击检测(Single Shot MultiBox Detector,SSD)算法对小目标物体检测效果不佳的问题,提出注意力特征融合SSD(Attention Feature Fusion SSD,AFF-SSD)算法。首先,为了提升网络对小目标物体的检测性能,使用注意力特征融合模块对浅层特征图中的特征信息融合,在降低噪声的同时增强特征图中远距离像素的相关性;其次,针对训练过程中正负样本失衡导致的模型退化问题,结合聚焦分类损失函数对SSD算法中的损失函数优化;最后,引入迁移学习解决因训练数据较少导致的过拟合问题。实验结果表明,与SSD算法相比,AFF-SSD算法平均准确率均值提高8.09%,经过迁移学习后,AFF-SSD算法平均准确率均值提高3.47%。

基于注意力特征融合网络的手指静脉图像质量评价方法

为充分挖掘质量特征以提高手指静脉图像质量评价的性能,提出一种基于注意力特征融合的深度可分离卷积网络,将其用于手指静脉图像质量评价。该方法主要包括静脉纹路提取、深度质量特征提取、注意力特征融合和图像质量类别预测等四个步骤。使用深度可分离卷积代替传统卷积,减少网络参数,使网络轻量化。使用注意力特征融合代替特征串联融合,从手指静脉灰度图像和手指静脉纹路图像中挖掘更具区分性的质量特征。考虑到目前没有公开手指静脉图像质量数据库,手工标注山东大学手指静脉公开库中图像的质量标记。试验结果表明,本研究提出的方法在手工标注数据库上的图像质量分类正确率为89.67%,图像质量评价性能优于现有手指静脉图像质量评价方法。

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。

融合注意力特征的多任务肺结节检测和分割

针对CT图像肺结节检测和分割模型复杂且精度低的问题,提出一种端到端的融合注意力特征的多任务肺结节检测和分割算法。利用多任务模型对肺结节检测和分割进行建模,实现模型参数的共享和计算复杂度的降低;提出残差注意力特征融合模块融合尺度和语义不一致的特征,获取更加丰富的特征信息;采用自适应多任务损失函数,实现主任务和辅助任务损失权重的均衡。在LIDC-IDRI数据集上进行了详尽的实验,肺结节检测的CPM得分达到90.94%,肺结节分割的IoU和DSC分数分别为71.78%和80.89%,验证了算法的有效性。

多视角多注意力融合分子特征的药物-靶标亲和力预测

近期深度学习在药物-靶标亲和力(DTA)任务上受到极大关注,然而现有工作多将分子单一结构嵌入为向量,忽略了多视角融合分子特征对最终特征表示提供的信息增益。针对单一结构分子存在特征不完备性的问题,提出了一种基于注意力融合多视角分子特征的预测DTA的端到端深度学习方法,其核心模块为多视角分子结构嵌入(Mas)和多注意力特征融合(Mat)。首先,使用Mas模块将多视角分子结构嵌入到特征向量空间;然后,通过Mat模块融入分子特征层级的注意力机制,从而对不同视角的分子特征进行加权融合;其次,根据药物-靶标相互作用(DTI)执行两者特征级联;最后,利用全连接神经网络回归预测亲和力。在Davis和KIBA数据集上的实验验证了训练比率、多视角特征融入、多注意力融合、以及相关参数对亲和力预测性能的影响。与GraphDTA方法相比,所提方法的均方误差(MSE)在Davis和KIBA两个数据集上分别降低了4.8%和6%。实验结果表明,注意力融合多视角分子特征能够捕获对蛋白质靶位上链接的相关性更高的分子特征。

基于角度引导Transformer融合网络的多站协同目标识别方法

多站协同雷达目标识别旨在利用多站信息的互补性提升识别性能。传统多站协同目标识别方法未直接考虑站间数据差异问题,且通常采用相对简单的融合策略,难以取得准确、稳健的识别性能。该文针对多站协同雷达高分辨距离像(HRRP)目标识别问题,提出了一种基于角度引导的Transformer融合网络。该网络以Transformer作为特征提取主体结构,提取单站HRRP的局部和全局特征。并在此基础上设计了3个新的辅助模块促进多站特征融合学习,角度引导模块、前级特征交互模块以及深层注意力特征融合模块。首先,角度引导模块使用目标方位角度对站间数据差异进行建模,强化了所提特征与多站视角的对应关系,提升了特征稳健性与一致性。其次,前级特征交互模块和深层注意力特征融合模块相结合的融合策略,实现了对各站特征的多阶段层次化融合。最后,基于实测数据模拟多站场景进行协同识别实验,结果表明所提方法能够有效地提升多站协同时的目标识别性能。

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet(multiscale-attention net)以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。

基于注意力机制的自然场景文本检测算法

针对目前主流场景文本检测算法在进行多尺度特征融合时不能够充分利用高、低层信息造成的文本漏检,以及长文本边界检测错误的问题,本文提出一种应用注意力机制的多尺度特征融合与残差坐标注意力的场景文本检测算法。该算法将注意力特征融合模块嵌入到金字塔中,通过纠正不同尺度特征的不一致性来提取更多的细节信息,以改善文本的漏检;在融合之后,使用残差坐标注意力模块在纵、横两个方向上捕获方向感知和位置敏感信息,细化边界信息,以优化长文本检测的效果。通过在公开数据集ICDAR 2015和Total-Text上的实验结果表明,该算法在F分数上分别达到了85.5%和83.6%,在推理速度上分别达到了22.4 FPS和40 FPS,相较于DBNet网络,在推理速度上略有下降,但在F分数上分别提高3.2%和0.8%。

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。

深度特征融合注意力与双尺度的运动去模糊

目的拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN(scale-recurrent network)方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比(29.91 dB)。在Lai数据集上,视觉上有最好的去模糊效果。结论实验结果表明,本文方法可以有效去除运动模糊并恢复细节。

seqAFF-ResNet:面向新冠肺炎的诊断模型

新冠肺炎的计算机辅助诊断是一种实现智能化影像诊断、临床诊断及临床分型的方法,在新冠肺炎的辅助诊断过程中,图像的病灶区域与组织边界对比不明显,导致模型不能较好地关注病灶区域,对有效特征的提取不够充分。针对上述问题,提出一个新冠肺炎辅助诊断模型seqAFF-ResNet(sequential attentional feature fusion-residual neural network)。设计串行注意力特征融合(sequential attentional feature fusion,seqAFF)模块,该模块串联条带注意力特征融合(strip attentional feature fusion,SAFF)模块和全局局部注意力特征融合(global local attentional feature fusion,GLAFF)模块,获取图像的纹理信息以及全局和局部信息,弥补卷积神经网络对于细节特征提取能力的不足,使得模型可以更好地关注于病灶区域;构造深浅层特征融合(deep and shallow feature fusion,DSFF)模块,使用深层特征的语义信息来影响浅层信息,同时将浅层的空间信息传入深层特征中,使深浅层特征进行有效融合,捕获丰富的上下文信息,实现跨层注意力特征增强,使网络能够更好地定位病变区域。与残差神经网络(residual neural network,ResNet)相比,seqAFF-ResNet准确率提升了3.42%,精确率提升了3.53%,F1分数提升了2.77%,AUC值提升了0.9%,实验结果表明,所提模型可以提高新冠肺炎的识别准确率,且与同类模型相比具有更好的性能。所提方法为新冠肺炎的辅助诊断提供了有效的识别方法,对新冠肺炎的计算机辅助诊断具有重要意义。

基于改进CenterNet的输电线路电力器件及异常目标检测

为实现输电线路电力器件及异常目标的快速准确检测,提出了一种基于改进CenterNet的目标检测算法。首先,使用轻量级MobileNetV2作为CenterNet的特征提取网络,同时对解码网络的通道数进行缩减,提高检测速度;其次,构建多通道特征增强结构,并引入底层细节信息,解决CenterNet因仅利用单一特征而造成检测精度低的问题;然后,设计同尺度残差注意力特征融合模块,取代上采样过程中特征直接相加的融合方式,以此拟合来自不同支路的同级特征;最后,引入椭圆高斯散射核优化标签编码,提升边界框回归的质量。对改进的CenterNet算法进行了实验,结果表明:该算法在构建的数据集上得到的均值平均精度达96%,前向推理速度为13 ms/帧,模型参数量约为5.9 MB,各项指标均优于FCOS、YOLOX等主流检测算法。该方法与无人机结合可为电网智能巡检提供参考。

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet_SPARM_S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet_SPARM_S-iAFF网络在RockCuttings_Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.

改进KAPAO的人体关键点检测

针对人体关键点检测存在检测精确度低的不足,在KAPAO(keypoints and pose as objects)网络的基础上进行改进。使用PoseTrans(pose transformation)进行数据增强,提高网络的泛化性;针对特征融合能力的不足,设计融合注意力机制的BiFPN(Bi-directional feature network)模块充分融合不同语义特征,提高网络对深层语义信息和浅层语义信息的融合能力;在网络输出阶段设计自适应扩张卷积模块,将不同扩张率的输出分支进行自适应融合,有效获得图像的全局信息;在网络的后处理部分设计SDR-NMS(soft DIOU relocation non-maximum suppression)替代传统的NMS,保留最优的关键点预测框。实验结果表明,网络的AP分数提高了4.8%,AP为68.6%,检测速度为19.1 ms。网络精确度和检测速度均具有较好的表现性。

基于改进YOLOv5的小目标烟雾检测算法

为解决火灾中的小目标烟雾检测精度不高的问题,提出一种基于改进YOLOv5的小目标烟雾检测算法。首先,将特征融合注意力(FFA)模块引入至主干网络中,使模型专注于小目标烟雾特征信息的提取;其次,通过采用多尺度金字塔解耦头(MPDH)模块替换卷积层模块,以改进YOLOv5算法中预测头层的检测部分,用于提升小目标烟雾的定位精度;最后,在专有数据集上进行试验验证与分析。结果表明:基于改进的YOLOv5小目标烟雾检测算法在目标检测精度上达到85.4%,在准确率、召回率方面,相较于原始算法分别提高了3.2%、6.3%。

基于深度学习的街景下的文本检测

针对自然街景文本角度倾斜、形状弯曲、长度不定等特点,提出一种基于注意力机制的自然街景文本检测方法,通过利用注意力机制的优势,对主干网络提取的特征进行加权融合,从而提升整体网络的检测性能.首先,针对特征金字塔(FPN)横向连接中特征信息丢失的问题,引入注意力融合模块AFFM(Attention Feature Fusion Module),通过计算高维和低维特征的融合权重,来改进原FPN中简单直接相加的特征融合方式,从而减少FPN特征融合过程中文本信息丢失,增强网络的特征提取能力.其次,针对不同尺度特征图中的文本特征,引入一个子空间注意力模块SAM(Subspace Attention Module),通过将多尺度融合特征图按通道划分为数个子空间特征图,分别学习每个子空间中的文本特征权重,使得融合后的特征图包含更多不同尺度的文本特征,从而增强融合特征图对文本实例的表征能力,进而提升网络的检测效果.在公开数据集Total-Text上对模型进行评估,实验结果表明,该算法与目前快速高效的DBNet相比,准确率、召回率和F值分别提高了0.5%、0.4%和0.4%.

四通道无监督学习图像去雾网络

为了解决单幅图像去雾领域有监督网络和无监督网络分别存在的问题,基于循环生成对抗网络(CycleGAN),提出了一种四通道无监督学习图像去雾网络。所提模型主要包括3个子网络,即去雾网络、合成雾网络和注意力特征融合网络;并由此3个子网络顺序组合构建了4条学习通道,即去雾通道、去雾结果颜色-纹理恢复通道、合成雾通道以及合成雾结果颜色-纹理恢复通道。特别地,在合成雾网络中,为了更好地约束去雾网络生成更高质量的无雾图像,引入了大气散射模型(ASM)以加强网络从有雾图像域到无雾图像域的映射转换;同时,为了进一步提高去雾网络和合成雾网络的图像生成质量,提出了一种注意力特征融合网络,该网络基于雾相关派生图,采用多路映射结构和注意力机制,加强对生成图像颜色、纹理细节等信息的恢复。在合成雾和真实雾图数据集上的大量实验结果表明,所提方法能更好地恢复各类场景中雾图的颜色和纹理细节等信息。

面向小目标提取的改进DeepLabV3+模型遥感图像分割

针对DeepLabV3+模型在遥感影像语义分割中呈现出小尺度地物语义信息丢失、数据类别不均衡引起误差等缺陷,提出了一种面向小目标提取的改进DeepLabV3+语义分割模型。首先,在模型编码器空间空洞金字塔池化(atrous spatial pyramid pooling,ASPP)中引入多组并行空洞卷积(multiple parallel dilated convolution,MPDC)和感受野融合策略;其次,在模型解码器部分加入特征注意力融合模块(feature attention fusion,FAF);最后,使用加权的Lovasz-softmax loss优化损失函数。将改进后的模型通过Landcover和CCF2017高分辨率遥感影像数据集进行验证,结果表明,在两个测试数据集上的平均交并比比原始的DeepLabV3+模型分别提高了1.17%~1.24%和0.85%~0.95%,特别地,小目标如建筑物的交并比相比原始模型分别提升了3.51%~3.86%和2.11%~2.38%,改进后的DeepLabV3+模型能更充分表达高分辨率遥感图像细节信息。

基于iHDODC-LinkNet网络的遥感图像道路提取方法

遥感图像的道路提取在推动城乡发展规划及建设方面具有重要意义。然而,目前传统方法对于遥感图像道路提取存在工程量大、效率低下的问题,基于深度学习的方法又存在复杂场景下提取精度不高和连通性差等问题。针对上述存在的问题,为提高不同地貌区域的道路提取精度,本文提出一种基于iHDODC-LinkNet网络的高分辨率遥感图像道路提取方法。该方法在语义分割模型D-LinkNet的基础上进行改进:一方面使用ResNeSt50重建D-LinkNet网络并添加预训练模型,提出一种混联深度过参数化扩张卷积(hybrid depthwise over-parameterized dilated convolution,HDODC)模块;另一方面采用迭代注意力特征融合(iterative attentional feature fusion,iAFF)机制替换原始的相加融合,从而使模型关注于道路的全局信息。最后,在马萨诸塞州道路数据集和某省高速公路场景数据集上进行训练并通过测试集的提取效果证明模型改进方法的有效性。根据实验模型分割效果表明,改进后的方法在测试集上F1达到71.66%,相比原始模型提升了10%,能够得到效果更好的分割结果。