基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。

基于双重注意力特征增强网络的语义分割方法

语意分割作为计算机视觉领域的研究热点之一,在地理信息系统、医疗影像分析和机器人等领域有广泛应用。然而现有的语义分割方法主要面临两个挑战,即类内不一致和类间难区分问题。为此,我们提出了一种基于双重注意力特征增强网络的方法来实现语义分割。该方法采用位置注意力模块与通道注意力模块来获取丰富的空间信息与上下文信息,并且在网络末端添加金字塔池化模块来聚合不同区域的上下文信息,提高网络捕获全局信息的能力。最终在标准数据集上的实验结果验证了本文方法的有效性。

基于多分区注意力的行人重识别方法

行人重识别是计算机视觉中一项具有挑战性和实际意义的重要任务,具有广泛的应用前景。背景干扰、任意变化的行人姿态和无法控制的摄像机角度等都会给行人重识别研究带来较大的阻碍。为提取更具有辨别力的行人特征,本文提出了基于多分区注意力的网络架构,该网络能同时从全局图像和不同局部图像中学习具有鲁棒性和辨别力的行人特征表示,能高效地提高行人重识别任务的识别能力。此外,在局部分支中设计了一种双重注意力网络,由空间注意力和通道注意力共同组成,优化提取局部特征。实验结果表明,该网络在Market-1501、DukeMTMC-reID和CUHK03数据集上的平均精度均值分别达到82.94%、72.17%、71.76%。

基于EMA改进的图像语义分割算法

针对期望最大化注意(EMA)算法参数与图像的语义关联不足以及缺少对通道间信息关注的问题,本文提出一种双重注意力网络EMA+算法。该算法设计了2个模块:空间注意力模块和通道注意力模块。空间注意力模块以EMA算法为主体架构,在责任估计步骤采用特征图作为期望最大化(EM)算法的初始参数,增加参数与特征图语义上的关联。通道注意力模块使用高效通道注意力(ECA),通过使用一维卷积学习通道之间交互信息,避免由于降维操作导致的破坏通道与其权重之间的直接对应关系。EMA+通过融合空间注意力模块和通道注意力模块,显著提高了语义分割任务的性能。实验结果表明,EMA+在PASCAL VOC2012和一些更复杂的数据集上均取得了较EMANet等方法更优的交并比指标,有较好的泛化能力。

城市公园植被高精度多光谱遥感识别模型构建

利用无人机与多光谱相机的组合航测获取可见光与多光谱影像,标注多光谱GNDVI图像和三通道可见光图像,采用图像融合网络、双重注意力网络和特征解码网络实现双重注意力卷积神经网络模型运算,并以上海泡泡公园做实证研究。基于早期融合(early fusion)和特征融合(feature fusion)的双重注意力卷积神经网络模型的整体植被识别率可达91.8%。先进设备的组合和双重注意卷积神经网络学习可实现高精度识别的模型构建,提升城市公园植被高精度识别的能力,可为后续的公园碳汇测算与种植评估提供更为精准的科学技术支撑。

基于特征与区域定位增强的遥感舰船目标检测

高分辨率遥感图像在海上监视、海上搜救、海上运输等军用和民用领域的舰船检测方面有着广泛的应用。然而高分辨率光学遥感图像舰船目标检测通常存在背景复杂、目标方向任意、尺度多变等问题,导致检测精度不高。提出一种基于特征和区域定位增强的旋转检测算法RetinaNet-MPD。通过添加一个多尺度特征融合模块,充分融合不同尺度、不同层级的特征信息,以增强不同尺度特征图的特征表示能力。针对复杂背景下的舰船目标检测,提出极化双重注意力网络,通过在注意力网络后加入极化函数,充分提取目标的关键特征,同时抑制不相关信息,以有效区分目标和背景。此外,为更准确地定位舰船目标,在对正负样本进行训练时采用一种动态锚学习方法,从而动态选择目标区域内具有良好定位潜力的高质量锚,提高舰船目标检测精度。实验结果表明,RetinaNet-MPD算法在DOTA舰船和HRSC2016数据集上的检测精度分别为89.3%和85.8%,相比现有旋转目标检测算法的检测精度有所提升。