基于空间自注意力机制和深度特征重建的脑MR图像分割方法

准确分割核磁共振(magnetic resonance,MR)图像中的脑组织是临床诊断、手术计划和辅助治疗的关键步骤.深度学习在各种图像分割任务中表现出巨大潜力,现有模型没有一种有效方法汇总远距离像素间的关系.在网络解码阶段不能很好地融合不同层级的特征,导致无法准确定位.为克服上述问题,本文提出一种基于空间自注意力机制和深度特征重建的脑MR图像分割方法,构建了一个可以融合3维信息的2D模型,可快速准确对3D结构图像进行密集预测.在MRBrainS13数据集和IBSR数据集上进行充分地实验研究,结果表明本文方法在3D多模态和单模态脑MR图像分割方面优于目前的2D模型,运算和推理时间相比3D模型小很多,性能却十分接近.

多层特征融合和并行自注意力的孪生网络目标跟踪算法

目标跟踪是计算机视觉方向上的一项重要课题,其中尺度变化、形变和旋转是目前跟踪领域较难解决的问题。针对以上跟踪中所面临的具有挑战性的问题,基于已有的孪生网络算法提出多层特征融合和并行自注意力的孪生网络目标跟踪算法(MPSiamRPN)。首先,用修改后的ResNet50对模板图片和搜索图片进行特征提取,为处理网络过深而导致目标部分特征丢失,提出多层特征融合模块(multi-layer feature fusion module,MLFF)将ResNet后三层特征进行融合;其次,引入并行自注意力模块(parallel self-attention module,PSA),该模块由通道自注意力和空间自注意力组成,通道自注意力可以选择性地强调对跟踪有益的通道特征,空间自注意力能学习目标丰富的空间信息;最后,采用区域提议网络(regional proposal network,RPN)来完成分类和回归操作,从而确定目标的位置和形状。实验显示,提出的MPSiamRPN在OTB100、VOT2018两个测试数据集上取得了具有可竞争性的结果。

基于双域自注意力机制的行人属性识别

针对行人属性识别任务中不同属性对特征粒度和特征依赖性的需求不同的问题,提出了一种基于由空间自注意力机制和通道自注意力机制组成的双域自注意力机制的行人属性识别模型。首先,使用ResNet50作为骨干网络,提取出具有一定语义信息的特征;然后将得到的特征分别输入到双分支网络中,提取具有空间依赖性与语义相关性的自注意力特征以及整体性信息的全局特征;最后,融合双分支的特征,并利用批归一化(BN)和加权损失的策略降低行人属性样本不平衡的影响。在两个行人属性数据集PETA和RAP上的实验结果表明,所提出的模型比基准模型的平均准确率指标分别提高了3.91个百分点和4.05个百分点,在已提出的行人属性识别模型中具有较强的竞争力。基于双域自注意力机制的行人属性识别方法可在监控场景下对行人进行结构化描述,提高行人分析和检索等任务的准确度和效率。

同尺度和跨尺度增强的U-Net用于视网膜血管分割

视网膜血管的自动分割技术有助于早期诊断和治疗与视网膜相关的疾病。由于视网膜血管结构复杂且精细,眼底图像存在着低对比度、光照不均以及病理性渗出物等因素的干扰,导致该任务仍然具有挑战性。针对该任务主流框架U-Net中未考虑全局语义依赖关系以及编码器和解码器之间的语义鸿沟问题,提出了一种同尺度和跨尺度增强的U-Net模型。从两个角度对该模型进行设计:对于同一尺度的编码-解码层,一种空间增强的自注意力机制被嵌入到每个编码层中以增强模型的全局空间聚合能力,并进一步将其拓展到解码端来缓解解码过程中上采样操作带来的信息丢失等问题;对于不同尺度的编码-解码层,引入了一种新颖的跨尺度融合模块,通过动态地选择最深层中丰富的特征信息来增强与其它层之间的语义交互,从而进一步弥合编码器和解码器之间的语义鸿沟。在DRIVE、CHASE_DB1和STARE三个视网膜标准数据集上进行了实验验证,实验结果表明I2A-Net能有效地分割出视网膜血管结构,相比与基线模型,在各项评价指标上均取得了较高的提升。