图双线性池化特征编码的细粒度目标识别方法

针对细粒度图像识别领域中经典双线性池化模型存在的视觉突发与特征冗余问题,提出了一种图双线性池化模型。该模型将图网络嵌入双线性池化模型,利用图网络的聚合能力,将差异性图像特征编码为高阶特征,改善了编码过程中的视觉突发现象。在CUB、Cars和Aircrafts 3个公共数据集上进行实验,模型的精确度分别达到87.8%、93.5%和89.6%。相较于分解双线性池化,该模型参数量仅为基线模型的25%,识别精度分别提高2.4%、1.7%和1.3%,充分验证了模型的有效性,可为军事目标细粒度识别提供方法参考。

基于双线性池化的实蝇分类注意力网络

实蝇是国内外备受关注的检疫害虫,种类繁多。不同种类的实蝇外形大小相似,不易鉴别。此外,在实际应用中,鉴别实蝇的可用信息会受遮挡、视角、光影变幻等因素影响,导致实蝇自动识别工作难以进行。提出基于双线性池化的实蝇分类注意力网络,用于学习有效的实蝇鉴别特征。该网络由显著性特征模块和跨层双线性模块两个部分组成:显著性特征模块通过对不同卷积层进行滤波增强处理,实现特征增强;跨层双线性模块基于双线性池化融合特征,确定注意部位,挖掘判别特征。在具有自然环境背景的实蝇数据集上进行的实验表明,该方法效果较好,具有良好的实际应用前景。

基于低秩双线性池化注意力网络的舰船目标识别

针对多模态舰船图像融合识别质量不高等问题,构建了一种端到端的低秩双线性池化注意力网络。首先对各模态原始特征向量基于跨模类别中心进行注意力加权重构,使不同模态特征更好地关注公共类别信息;然后采用双线性池化捕获不同模态图像的交互信息,并引入权重低秩分解降低网络参数规模;最后依靠特征级联实现模态信息的交互与互补,并设计联合损失提升网络跨模态融合识别效果。实验结果表明,相比现有融合方法,所提方法可有效提升多模态遥感舰船图像的融合识别效果,在公开的遥感舰船数据集上取得了较高的识别准确率。

基于自适应三线性池化网络的细粒度图像分类

细粒度图像分类的关键在于提取图像中微妙的特征。现有基于弱监督方式的细粒度图像识别方法大多使用专家标注的边界注释辅助定位关键区域,存在标注成本高、训练过程复杂等问题。基于弱监督的双线性卷积神经网络方法因其学习到的特征空间更符合细粒度图像特性而具有一定的有效性,但忽略了层间的相互作用。针对细粒度图像识别领域存在的关键区域识别困难和层间交互关联弱的问题,融合二阶协方差通道注意力机制、自适应特征掩码与自适应三线性池化,提出自适应三线性池化网络ATP-Net,用于细粒度图像分类任务。通过二阶协方差通道注意力机制学习通道上的注意力向量,构建自适应特征掩码模块学习空间维上的注意力矩阵,设计自适应三线性池化模块学习特征的最终表示,以充分利用空间维、通道维上的信息。在CUB-200、Cars-196和Aircraft-1003个细粒度图像分类数据集上的实验结果表明,ATP-Net的分类精度分别为89.30%、94.20%和91.80%。

多分支精简双线性池化的人脸表情识别

针对人脸表情识别研究中特征提取不充分、难以辨别人脸表情细微的类间差异等问题,提出了一种多分支精简双线池性化的人脸表情识别方法。该方法以ResNet-18为基础,在避免大幅度增加计算复杂度的前提下提升ResNet-18的特征提取能力,提出了一个新的多样化分支块(diverse branch block)对ResNet-18进行改进;为使改进后的ResNet-18更方便地聚焦人脸图像中产生表情区域的特征,提出了残差空间注意力;为了减少人脸表情细微的类间差异带来的不利影响,增强人脸表情类间的区别性,设计了多分支精简双线性池化结构。最后用所提的方法分别在公开的人脸表情数据集CK+、RAF-DB进行实验,识别率分别达到了98.46%、82.99%。实验结果表明,该方法的识别率优于DLP-CNN、MA、DeepExp3D等诸多的表情识别方法,具有一定的竞争性。

基于注意力机制与双线性池化的锈蚀等级评估

水工机械装备(如闸门、拦污栅等)长期服役于水域环境,其结构表面会不可避免地产生锈蚀。对于重要的关键受力结构件,如果不能准确检测其锈蚀的严重程度,会导致其维修加固不及时,进而直接威胁受损结构周围人员的生命安全。目前,对水工机械装备锈蚀特征识别主要以人工目视检测为主,容易导致视觉疲劳、主观性较强、锈蚀程度的检测准确率不高等问题。为此,本文提出以VGG-16(visual geometry group,VGG)网络为基础、融合注意力机制和双线性池化的锈蚀等级评估方法。首先,利用RGB(red green and blue)和HSV(hue saturation and value)两种色彩空间中不同分量包含锈蚀图像特征不同的特点,将不同色彩空间作为不同支路网络的输入,使其能够充分利用不同色彩空间的图像特征;其次,在两个支路网络中嵌入注意力机制,通过注意力机制的可训练权重对锈蚀图像的特征进行重标定,调整权重,聚焦于最相关的特征进行学习;再次,采用双线性池化融合不同支路提取的特征,使网络聚焦于最相关的细粒度图像特征,提高网络模型对锈蚀图像细微差异特征的利用;最后,通过盐雾锈蚀实验获取锈蚀图像数据,并在数据集上对本文方法进行消融和对比分析。结果表明,相较于原模型及其他主流算法,改进后模型的分类准确率达到了0.953,精确率、召回率、F1系数等评价指标均有大幅提升,本文方法对于不规则锈蚀图像特征能够取得更好的评估效果,可以转化应用于工程实践。

基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。

分层双线性池化图像行为识别方法

基于图像的行为识别由于受到类内图像背景信息的差异性和类间行为的相似性影响,至今仍然是一项极具挑战性的任务。某些行为类别在人物姿态、表情动作方面十分相似,因此对图像中各种富含语义信息的部位提取显著性特征对于提高行为识别的精度至关重要。借鉴双线性池化模型在细粒度分类中的优势,同时为避免该模型包含大量背景噪声而影响识别精度,提出一种改进的双线性池化模型用于图像行为识别。该模型利用通道和空间注意力机制关注图像中的重要目标,并通过集成多层注意力掩码图来生成RoI,这可以有效抑制图像中的背景噪声信息,提高行为识别的准确性。最终提出的方法在Stanford-40 dataset获得了85.24%准确率,同时在自定义的60类行为数据集上获得了84.57%的准确率。

基于多通道压缩双线性池化的情感-原因句子对提取模型

提出一个基于多通道压缩双线性池化的模型,对文档中的候选情感-原因句子对进行排序。该模型利用图注意力网络提取包含位置信息的情感特定化表示和原因特定化表示,通过局部关系学习模块,进一步学习情感与原因句子之间的局部关系表示,再使用多通道压缩双线性池化来融合学习情感-原因候选句子对表示。最后,对候选句子对进行排序。实验结果表明,与最新模型相比,所提模型在多方面表现更优。

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。

注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。

基于显著增强分层双线性池化网络的细粒度图像分类

分层双线性池化网络考虑了中间卷积层的特征交互,对细粒度图像起到了良好的分类效果,但它对一幅图像包括无关背景在内的所有区域激活都进行了特征交互,会影响分类性能.针对该问题,提出一种显著增强的分层双线性池化方法.该方法在分层双线性池化网络的基础上,结合显著性检测网络生成注意力图,使用注意力图与特征提取网络进行交互实现对显著区域的信息增强,减少了背景等无关信息的影响,提高了分类性能.在3个常用的细粒度图像数据集CUB-200-2011,Stanford Cars和FGVC-Aircraft上均进行了实验,分类准确率分别为86.5%,92.9%和90.8%,与当前其他主流方法相比,取得了良好的分类效果.

基于注意力双线性池化的细粒度舰船识别

针对当前细粒度图像识别的模型结构复杂且只能学习到单一判别性特征的问题,对一种弱监督学习下基于注意力双线性池化的细粒度舰船识别方法进行研究。该方法首先将通道注意力机制和空间注意力机制与卷积神经网络相结合,在没有监督信息的条件下分别提取图像的深度通道特征和深度空间特征。然后通过双线性池化操作对提取到的深度通道特征和深度空间特征进行特征融合,使得通道特征和空间特征形成关联和交互,从而使网络能够学习到更丰富的图像局部特征。最后再将学习到的局部特征和深度神经网络提取到的全局特征进行拼接,利用全连接层得到最终的图像融合特征用于舰船图像的细粒度分类。针对当前缺少自然场景下的舰船数据集问题,进行了相关舰船图像数据的收集工作,建立了针对自然场景舰船细粒度检测的数据集,并在该数据集上进行了训练和测试,该模型的识别准确率可以达到91.3%。

基于多模双线性池化方法的虚假新闻检测模型

社交媒体的兴起促进了新闻行业的发展,使虚假新闻的传播也变得更为便利,然而多样化的新闻表现形式带来了很多负面影响,比如新闻内容夸大事实、恶意篡改新闻文本或图像内容、构造虚假新闻事实引起社会舆论,这促使了虚假新闻检测工作成为新闻领域新的挑战。为了应对虚假新闻检测工作的研究,将新闻文本与图像信息结合起来,通过多模双线性池化方法,改变传统特征融合方法,构建出基于新特征融合方法的虚假新闻检测模型,并且采用虚假新闻检测领域标准数据集验证模型的性能,实验结果表明,文本与图像的融合特征表现在虚假新闻检测领域不可替代,且所提方法能够有效提升虚假新闻检测性能。

基于双线性特征融合方法的畸变失真图像质量评价

针对畸变失真图像影响后续图像信息获取的问题,提出了一种基于双线性特征融合方法的畸变失真图像质量评价算法。首先基于人类视觉对图像结构特征敏感的特点提取结构图像,然后将原始图像和结构图像作为双流卷积网络的输入,将两支路网络输出的低层结构特征和高层语义特征通过双线性池化层进行特征融合,最后通过全连接层输出图像质量预测分数。为了验证算法的有效性,在4个公开的图像数据集LIVE、CSIQ、MLIVE与TID2013上进行实验。结果表明,所提算法与当前的失真图像质量评价算法相比,在LIVE、CSIQ和MLIVE数据集上斯皮尔曼等级相关系数(Spearman rank-order correlation coefficient,SROCC)和皮尔逊线性相关系数(Pearson linear correlation coefficient,PLCC)指标至少提升0.2%左右,在TID2013数据集上SROCC值至少提升0.5%左右。所提算法评价结果与人类视觉主观感知有较好的一致性,对多种失真图像质量评价可以取得不错的效果。

基于跨层双线性池化的糖尿病视网膜病变分级算法研究

针对糖尿病视网膜病变(DR)分级任务中不同种类之间差异性微小特点,提出一种基于跨层双线性池化(CHBP)的视网膜病变分级算法。首先根据霍夫圆变换(HCT)对输入图像进行裁剪,再使用预处理方法提升图像对比度;然后以挤压激励分组残差网络(SEResNeXt)作为模型的主干,引入跨层双线性池化模块进行分类;最后在训练过程中引入随机拼图生成器进行渐进训练,并采用中心损失(CL)和焦点损失(FL)方法进一步提升最终分类效果。实验结果显示,本文方法在印度糖尿病视网膜病变图像数据集(IDRiD)中二次加权卡帕系数(QWK)为90.84%,在梅西多数据集(Messidor-2)中受试者工作特征曲线下的面积(AUC)为88.54%。实验证明,本文提出的算法在糖尿病视网膜病变分级领域具有一定应用价值。

结合注意力与双线性网络的细粒度图像分类

如何对识别物体进行精确定位并提取更具有表达力的特征,是细粒度图像分类算法的核心问题之一.为此,本文提出了一种基于注意力机制的双线性卷积神经网络细粒度图像分类算法(BAM B-CNN),主要工作如下:1)通过VGG-16网络获得原始图像的激活映射图,选取大于平均值的最大联通区域作为物体图像;2)使用区域建议网络(RPN)提取候选区域,结合部件注意力模型将候选区域分为k组,以各组评分最高的候选区域作为部件图像;3)在双线性网络中引入通道注意力模块,学习通道间的非线性关系,提高关键特征的表达力;4)使用分类模型结合不同层次特征的优点,提高分类精度.理论分析和试验验证均验证了所提算法的有效性.

基于时序卷积网络的早期帕金森多模态检测系统

帕金森病是最常见的神经退行性疾病之一,其临床特征与其他神经退行性疾病有重叠,且缺乏明确的病理机制,导致早期诊断检测困难、误诊率高等问题;为了研究有效的早期帕金森病检测方法,深入探索帕金森病发展的时间特征规律,并提高早期帕金森病预测、分析和诊断决策的准确性,设计了一种基于时序卷积网络的早期帕金森病多模态检测系统,为及时发现早期帕金森病提供辅助诊断依据;该系统利用语音、步态和受试者自测数据,采用多元线性池化方法进行多模态融合,结合时间卷积网络和参数共享方式,以提高系统的检测精度并降低过拟合风险;实验测试结果显示,基于时序卷积网络的早期帕金森病检测系统的准确率达到96.22%,在多项评估指标上优于传统的帕金森检测模型,展现出良好的早期帕金森联合检测效果。

基于双线性注意力金字塔网络的压疮等级识别

在实际临床应用场景下,压疮伤口等级分类较多且图像间差距小。针对使用图像识别技术对压疮图像分类难度大的问题,提出了基于双线性注意力金字塔的压疮等级识别网络BAP-CNN。该网络以细粒度分类网络APCNN为基础(细粒度指类间差距小的情况符合压疮等级分类需求),设计了瓶颈注意力模块,并且采用双线性注意力池化的方法,从而提升模型的整体性能和识别准确率。实验结果表明,在细粒度视觉分类数据集和自建压疮伤口图像SCU-PU数据集上,改进后的网络BAP-CNN与基础网络APCNN以及经典细粒度网络NTS、WSDAN相比,模型的识别率均有所提升,证明了改进方法的有效性,以及在不同数据集下良好的泛化能力。

基于卷积神经网络的内镜图像中食管病变分类

消化内镜检查是食管癌筛查的常规手段。由于内镜下的病灶在形状、颜色和质地上的个体差异和视觉相似性,食管鳞癌的诊断效率和准确率都极大地依赖于内镜医师的经验,尤其在白光内镜下容易被误诊和漏诊。针对上述问题,提出一种融合双线性池化和注意力机制的卷积神经网络,可基于白光内镜图像对食管病变进行分类。该网络以ResNet50作为基本框架,加入全新设计的全局通道注意力模块,重新标定通道间特征,并引入双线性池化操作融合多个特征层,增强特征表达。基于2101例多中心临床患者的白光内镜图像数据集的实验结果显示,该方法对食管病变的分类准确率在图像和病人级别分别为94.2%和96.9%,对食管鳞癌的敏感度和特异度在图像级别为95.4%和98.8%,在病人级别为98.7%和95.9%,均优于实验中所对比的近年来其他模型和方法。该实验结果表明,提出的网络对白光内镜下的食管病变表现出优异的分类性能,可有效提高食管鳞癌的诊断准确率,同时具有较好的鲁棒性。