基于类别注意力卷积网络的地物分类方法

在近期的研究发展中,语义分割取得了巨大的进步。但大多数方法都是从空间角度出发,来获取更加丰富的上下文信息。与以往的方法不同,本文提出了一种基于类别注意机制的特征融合方法,从类别角度出发,来获取全局上下文信息,并与其他特征信息进行融合,这种方法能够更好地表示图像中各类目标的特征,具有更好的类内聚合性。为此,本文使用了一种ACF(类别注意力特征)模块,以计算和构建图像中各类目标的类别中心,以此为基础得到了一个基于类别注意力的多特征融合语义分割网络,以实现更好的地物分类性能。算法使用ISPRS数据集进行实验,与其他算法进行对比,本文方法具有更好的性能表现。

FMNet:基于特征对齐的多方位注意力机制服装图像分割网络

针对语义分割中不同尺度特征融合导致的特征错位问题,提出了一种用于不同尺度语义特征融合的上采样方法。首先,将不同尺度特征图初步融合,将得到的语义信息作为低分辨率特征图进行上采样的位置参照;随后,将低分辨率特征图上采样后,再与高分辨率特征图进行融合。针对神经网络中语义学习模块对语义特征信息学习不充分的问题,提出了一种多方位注意力机制(multi-directional attention mechanism,MAM),从空间、通道和类别3个方位学习语义信息。根据上述2个方面的创新,提出了用于服装图像分割的网络——FMNet,并选取、划分服装数据集DeepFashion2作为训练、验证和测试的数据集。实验结果表明,所提FMNet的平均交并比(mean intersection over union,mIoU)相较于OCRNet提高了2%,相较于DeepLabv3+和PSPNet分别提高了5%和10%。

一种基于改进VGG16网络的人脸表情识别算法

针对神经网络对人脸表情进行识别时,使用的分类损失函数主要是交叉熵损失函数,导致网络对于不同人脸表情类别识别率不高的问题,将类别注意力机制和上下文感知金字塔引入VGG16网络,产生类别损失函数,与交叉熵损失函数一起作为网络训练的损失函数,从而提高网络的人脸表情识别准确率。实验结果表明:改进后的VGG16网络在人脸表情数据集RAF-DB和FERPLUS上有比原始VGG16网络具有更高的人脸表情识别率。

基于Transformer的肺肿瘤三维CT图像分割

基于信息学技术自动分割病人的肺部CT图像,有助于医生对于肺癌患者的早期诊断,提取和整合图像区域间的空间关联,对于提升肺肿瘤分割性能是十分重要的。本文提出了一个新的基于Transformer的分割模型,用于肺肿瘤三维CT图像分割、学习和整合此类关联。本文分别设计了带有混合多头图像区域节点注意力的Transformer模块和类别注意力模块,学习并融合了肺部CT图像的空间层面和通道层面的信息。将新的基于Transformer的分割模型同其他较为先进的模型进行了对比实验,实验结果表明新的模型在骰子系数、交并比和豪斯多夫距离等方面优于其他模型。

基于改进TResNet的下水道缺陷识别算法

同一张下水道图像可能同时反映多种类型的下水道缺陷,所以应对下水道图像进行多标签缺陷预测。为了进一步解决城市下水道复杂场景中缺陷的多标签自动分类问题,本文提出了一种两阶段的下水道缺陷类型识别方法。第一阶段,使用二分类卷积神经网络(CNN)模型检测下水道图像是否存在缺陷;第二阶段,使用改进TResNet模型对下水道图像具体缺陷类型进行多标签分类,该模型在TResNet基础上引入了捕获空间相关类别信息的特定类别残差注意力(CSRA)模块,从而提升了网络的多标签识别能力。考虑到不同类型缺陷造成的经济影响程度不同,使用加权缺陷类别经济影响指数的F 2-CIW指标以及标准F 1分数指标来评价模型的性能。实验结果表明,在下水道数据集Sewer-ML Dataset上,本文方法的F 1-Normal和F 2-CIW指标取得了90.41%和53.57%的测试得分,相比其它方法具有更好的缺陷识别性能。