基于多头类特定残差注意力和图卷积的多标签图像分类算法

针对ML-GCN中全局最大池化所获得的图像特征对特定类别在不同图像区域上缺乏针对性和丢失图像局部特征信息的问题,提出了类特定残差注意力(CSRA)模块.该模块可以有效捕获不同类别对象所占据的不同空间区域.此外,将提出的类特定残差注意力与图卷积神经网络相结合,提出了基于多头类特定残差注意力与图卷积的多标签图像分类算法(ML-CSRA).首先利用卷积神经网络提取通用的图像特征图,之后将提出的类特定残差注意力扩展为多头形式,并将其应用于通过卷积神经网络提取到的通用图像特征图,提取各个区域对应不同类别的特征.最后将图卷积神经网络提取的标签相关特征与多头类特定残差注意力提取的图像特征结合,得到最后的多标签图像分类结果.在MS-COCO 2014和VOC-2007数据集上的实验结果表明提出算法在所有评估指标上都优于目前已有算法.

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如ML-GCN通过设置单阈值将标签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。针对这一问题,提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks),通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分类性能,也引入图像区域空间相关性。另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在MS-COCO和PASCAL VOC数据集上与其他主流多标签图像分类方法进行了对比实验,平均准确率分别达到了94.9%和83.7%,相较于经典ML-GCN模型,分别获得了0.9%和0.8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN都有较好的表现,验证了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。

融合注意力机制和语义关联性的多标签图像分类

卷积神经网络在单标签图像分类中表现出了良好的性能,但是,如何将其更好地应用到多标签图像分类仍然是一项重要的挑战。本文提出一种基于卷积神经网络并融合注意力机制和语义关联性的多标签图像分类方法。首先,利用卷积神经网络来提取特征;其次,利用注意力机制将数据集中的每个标签类别和输出特征图中的每个通道进行对应;最后,利用监督学习的方式学习通道之间的关联性,也就是学习标签之间的关联性。实验结果表明,本文方法可以有效地学习标签之间语义关联性,并提升多标签图像分类效果。

基于空间注意力与图卷积的多标签图像分类算法

针对传统多标签图像分类模型存在难以生成更接近相关标签的高层图像特征,以及因未能利用标签之间的视觉相关性而导致的识别精度不够高等问题,提出了一种基于空间注意力与图卷积的多标签图像分类算法.首先,利用图卷积网络学习标签邻接图特征和使用GLOVE算法,从标签序列获取的标签嵌入;其次,在高层语义信息中引入改进的空间注意力网络以对特定类别的语义特征进行重标定,实现背景和干扰信息的抑制;最后,在基于共现特征融合的分类器中,整合高层语义信息与图卷积网络提取的标签共现特征,采用通道一对一的方式完成模型最终预测.在两个公开数据集上进行实验表明,该算法在MS-COCO和VOC-2007数据集上的平均精度分别为81.42%和94.3%,较基础的MLGCN网络分别提升了1.13和1.3个百分点,且模型参数量仅为原模型的八分之一,训练过程中需要的迭代次数也远少于原模型,极大程度地降低了其训练成本.

基于八度卷积神经网络的多标签胸部X光图像分类算法

胸部疾病高发,且有些疾病种类的癌症转变率很高,因此基于卷积神经网络的胸部X光图像疾病自动检测分类方法是计算机辅助诊断的研究热点之一.然而,目前的自动分类方法仍面临胸部病灶的X光图像特异性特征表达不充分、不同胸部疾病发病率不平衡、卷积神经网络参数量过大等问题.针对上述问题,提出了一种端到端的基于八度卷积的ResNet(octave convolution based residual network,OC-ResNet)结构.首先,利用八度卷积改进ResNet中的普通卷积,将高低频特征分离,增强对高频信息的提取,以更好地表达胸部病灶的特异性特征,降低模型计算复杂度.其次,利用渐进式迁移学习,将OC-ResNet在ImageNet数据集进行预训练,获得网络的初始参数,然后固定网络浅层参数,在ChestX-Ray14数据集上微调网络深层参数.最后,为改善样本不平衡问题,网络训练时,采用了焦点损失函数,增加样本数较少类别的权重.在ChestX-Ray14数据集上的实验结果表明,OC-ResNet对14种胸部疾病分类的平均AUC值达到0.856,与目前先进的深度学习方法相比,其中13种疾病分类的AUC值达到最优,同时,计算复杂度相比基础网络降低了44.77%.

一种双LSTM结构的图像多标签分类方法

基于深度学习的图像多标签分类方法主要采用CNN-RNN方法进行按顺序标签预测。但是由于图像的多个标签没有特定的顺序,CNN-RNN方法难以确立有效的标签序列顺序,使得预测的精度不足。基于CNN-RNN方法构建了一种双LSTM结构,利用CNN从所给图像中提取出特征,构建两个LSTM同时解析图像特征,并采用不同的序列顺序进行预测,融合两个预测序列得到最终的预测标签。实验结果表明,文中提出的算法能够有效降低由单一的标签顺序带来的分类效果不足的影响,提高多标签分类的精度。

基于改进MobileNet的公路行车环境安全风险源识别

为了检测公路行车环境安全风险源,为公路风险源智能化管控和随机不确定场景下实时安全风险评估提供依据,研究了基于深度卷积神经网络模型的公路行车环境安全风险源识别算法。通过改进MobileNetV3的输出层激活函数和损失函数,将网络输出的风险源类别数量由一个变为多个,解决了同一图像中存在多种风险源的识别问题。利用空间注意力机制加强MobileNetV3网络的特征提取能力,解决了MobileNetV3通道注意力机制无法关注到通道内部风险源特征信息的问题,提升了模型识别准确率。通过通道剪枝方法去除冗余扩张通道,减少网络参数量,提升了模型预测速度。实验结果表明:该方法能够有效识别行车环境安全风险源,检测率达0.829,平均分类准确率达0.833,且具备实时检测效果。

多标签遥感图像分类研究现状与展望

多标签遥感图像分类是遥感分析领域的基础研究任务之一,解析给定的遥感图像并识别其中的类别语义,可以为下游计算机视觉任务提供重要的技术基础;由于遥感图像空间分辨率不断提升,众多遥感对象以不同规模、颜色、形状分布于图像的各个区域,为遥感图像多标签分类任务带来了严峻挑战。该文聚焦于遥感领域的多标签图像分类研究,对该问题的前沿研究进展进行总结分析。首先,阐述多标签遥感图像分类任务的问题定义,并对该研究问题中常用的多标签图像数据集和模型评估指标进行归纳介绍;进而,对该领域的前沿进展进行系统性的介绍,深入剖析多标签遥感图像分类过程中的2个关键任务——遥感图像特征提取和标签特征提取;最后,针对遥感图像特性,分析了该任务当前存在的挑战和问题,并对未来研究方向进行展望。