基于双线性池化引导特征融合的轴承故障诊断算法

为了深入优化滚动轴承在变负载驱动环境下特征提取不充分、轴承故障特征表征不足的问题,提出了基于双线性池化引导特征融合的轴承故障诊断算法。对读取到的原始信号数据进行预处理,通过去除直流分量、噪声滤波、抗混叠滤波、时域窗函数等操作,提高信号处理后的振动谱图质量;对预处理后的信号数据进行傅里叶变换,计算出变换后的幅值和频率数据,并绘制对应的振动谱图;利用通道注意力和空间注意力改进Res2Net网络,提取不同关注点下的视觉特征,并基于双线性池化方法进行多特征融合;利用全连接和softmax函数构建分类头,实现轴承故障分类。结果表明:所提出的方法在凯斯西储大学轴承数据集以及德国Paderborn数据集中的精确率分别为98.22%、97.94%,在轴承故障诊断中,所提算法不仅在理论上融合了自动化控制理论与控制工程原理,而且在实践中验证了其在轴承故障诊断中的有效性,为实现轴承故障的早期预警和智能诊断提供了新的技术途径。

图双线性池化特征编码的细粒度目标识别方法

针对细粒度图像识别领域中经典双线性池化模型存在的视觉突发与特征冗余问题,提出了一种图双线性池化模型。该模型将图网络嵌入双线性池化模型,利用图网络的聚合能力,将差异性图像特征编码为高阶特征,改善了编码过程中的视觉突发现象。在CUB、Cars和Aircrafts 3个公共数据集上进行实验,模型的精确度分别达到87.8%、93.5%和89.6%。相较于分解双线性池化,该模型参数量仅为基线模型的25%,识别精度分别提高2.4%、1.7%和1.3%,充分验证了模型的有效性,可为军事目标细粒度识别提供方法参考。

多尺度高阶精简双线性池化的人脸表情识别

不同人脸表情差异小造成表情相似度高,导致识别准确率不理想,为此本文提出了一种多尺度高阶精简双线性池化模型。首先,该模型提取Res Net-18的高层卷积,并融入SES注意力机制和精简双线性池化生成高阶特征;其次,将高阶特征多尺度特征融合;最后,将该模型在公开的人脸表情数据集CK+、RAF-DB进行实验,最终识别率分别为84.58%、96.92%。实验结果表明,该模型优于Gabor、Deep Exp3D、DSN等方法,具有一定优势。

基于矩阵分解双线性池化的多模态融合虚假新闻检测

现有的大多数虚假新闻检测方法将视觉和文本特征串联拼接,导致模态信息冗余并且忽略了不同模态信息之间的相关性。为了解决上述问题,提出一种基于矩阵分解双线性池化的多模态融合虚假新闻检测算法。首先,该算法将多模态特征提取器捕捉的文本和视觉特征利用矩阵分解双线性池化方法进行有效融合,然后与虚假新闻检测器合作鉴别虚假新闻;此外,在训练阶段加入了事件分类器来预测事件标签并去除事件相关的依赖。在Twitter和微博两个多模态谣言数据集上进行了对比实验,证明了该算法的有效性。实验结果表明提出的模型能够有效地融合多模态数据,缩小模态间的异质性差异,从而提高虚假新闻检测的准确性。

分层双线性池化图像行为识别方法

基于图像的行为识别由于受到类内图像背景信息的差异性和类间行为的相似性影响,至今仍然是一项极具挑战性的任务。某些行为类别在人物姿态、表情动作方面十分相似,因此对图像中各种富含语义信息的部位提取显著性特征对于提高行为识别的精度至关重要。借鉴双线性池化模型在细粒度分类中的优势,同时为避免该模型包含大量背景噪声而影响识别精度,提出一种改进的双线性池化模型用于图像行为识别。该模型利用通道和空间注意力机制关注图像中的重要目标,并通过集成多层注意力掩码图来生成RoI,这可以有效抑制图像中的背景噪声信息,提高行为识别的准确性。最终提出的方法在Stanford-40 dataset获得了85.24%准确率,同时在自定义的60类行为数据集上获得了84.57%的准确率。

基于多通道压缩双线性池化的情感-原因句子对提取模型

提出一个基于多通道压缩双线性池化的模型,对文档中的候选情感-原因句子对进行排序。该模型利用图注意力网络提取包含位置信息的情感特定化表示和原因特定化表示,通过局部关系学习模块,进一步学习情感与原因句子之间的局部关系表示,再使用多通道压缩双线性池化来融合学习情感-原因候选句子对表示。最后,对候选句子对进行排序。实验结果表明,与最新模型相比,所提模型在多方面表现更优。

基于双线性池化的实蝇分类注意力网络

实蝇是国内外备受关注的检疫害虫,种类繁多。不同种类的实蝇外形大小相似,不易鉴别。此外,在实际应用中,鉴别实蝇的可用信息会受遮挡、视角、光影变幻等因素影响,导致实蝇自动识别工作难以进行。提出基于双线性池化的实蝇分类注意力网络,用于学习有效的实蝇鉴别特征。该网络由显著性特征模块和跨层双线性模块两个部分组成:显著性特征模块通过对不同卷积层进行滤波增强处理,实现特征增强;跨层双线性模块基于双线性池化融合特征,确定注意部位,挖掘判别特征。在具有自然环境背景的实蝇数据集上进行的实验表明,该方法效果较好,具有良好的实际应用前景。

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。

注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。

基于显著增强分层双线性池化网络的细粒度图像分类

分层双线性池化网络考虑了中间卷积层的特征交互,对细粒度图像起到了良好的分类效果,但它对一幅图像包括无关背景在内的所有区域激活都进行了特征交互,会影响分类性能.针对该问题,提出一种显著增强的分层双线性池化方法.该方法在分层双线性池化网络的基础上,结合显著性检测网络生成注意力图,使用注意力图与特征提取网络进行交互实现对显著区域的信息增强,减少了背景等无关信息的影响,提高了分类性能.在3个常用的细粒度图像数据集CUB-200-2011,Stanford Cars和FGVC-Aircraft上均进行了实验,分类准确率分别为86.5%,92.9%和90.8%,与当前其他主流方法相比,取得了良好的分类效果.

基于低秩双线性池化注意力网络的舰船目标识别

针对多模态舰船图像融合识别质量不高等问题,构建了一种端到端的低秩双线性池化注意力网络。首先对各模态原始特征向量基于跨模类别中心进行注意力加权重构,使不同模态特征更好地关注公共类别信息;然后采用双线性池化捕获不同模态图像的交互信息,并引入权重低秩分解降低网络参数规模;最后依靠特征级联实现模态信息的交互与互补,并设计联合损失提升网络跨模态融合识别效果。实验结果表明,相比现有融合方法,所提方法可有效提升多模态遥感舰船图像的融合识别效果,在公开的遥感舰船数据集上取得了较高的识别准确率。

基于注意力双线性池化的细粒度舰船识别

针对当前细粒度图像识别的模型结构复杂且只能学习到单一判别性特征的问题,对一种弱监督学习下基于注意力双线性池化的细粒度舰船识别方法进行研究。该方法首先将通道注意力机制和空间注意力机制与卷积神经网络相结合,在没有监督信息的条件下分别提取图像的深度通道特征和深度空间特征。然后通过双线性池化操作对提取到的深度通道特征和深度空间特征进行特征融合,使得通道特征和空间特征形成关联和交互,从而使网络能够学习到更丰富的图像局部特征。最后再将学习到的局部特征和深度神经网络提取到的全局特征进行拼接,利用全连接层得到最终的图像融合特征用于舰船图像的细粒度分类。针对当前缺少自然场景下的舰船数据集问题,进行了相关舰船图像数据的收集工作,建立了针对自然场景舰船细粒度检测的数据集,并在该数据集上进行了训练和测试,该模型的识别准确率可以达到91.3%。

多分支精简双线性池化的人脸表情识别

针对人脸表情识别研究中特征提取不充分、难以辨别人脸表情细微的类间差异等问题,提出了一种多分支精简双线池性化的人脸表情识别方法。该方法以ResNet-18为基础,在避免大幅度增加计算复杂度的前提下提升ResNet-18的特征提取能力,提出了一个新的多样化分支块(diverse branch block)对ResNet-18进行改进;为使改进后的ResNet-18更方便地聚焦人脸图像中产生表情区域的特征,提出了残差空间注意力;为了减少人脸表情细微的类间差异带来的不利影响,增强人脸表情类间的区别性,设计了多分支精简双线性池化结构。最后用所提的方法分别在公开的人脸表情数据集CK+、RAF-DB进行实验,识别率分别达到了98.46%、82.99%。实验结果表明,该方法的识别率优于DLP-CNN、MA、DeepExp3D等诸多的表情识别方法,具有一定的竞争性。

基于多模双线性池化方法的虚假新闻检测模型

社交媒体的兴起促进了新闻行业的发展,使虚假新闻的传播也变得更为便利,然而多样化的新闻表现形式带来了很多负面影响,比如新闻内容夸大事实、恶意篡改新闻文本或图像内容、构造虚假新闻事实引起社会舆论,这促使了虚假新闻检测工作成为新闻领域新的挑战。为了应对虚假新闻检测工作的研究,将新闻文本与图像信息结合起来,通过多模双线性池化方法,改变传统特征融合方法,构建出基于新特征融合方法的虚假新闻检测模型,并且采用虚假新闻检测领域标准数据集验证模型的性能,实验结果表明,文本与图像的融合特征表现在虚假新闻检测领域不可替代,且所提方法能够有效提升虚假新闻检测性能。

基于注意力机制与双线性池化的锈蚀等级评估

水工机械装备(如闸门、拦污栅等)长期服役于水域环境,其结构表面会不可避免地产生锈蚀。对于重要的关键受力结构件,如果不能准确检测其锈蚀的严重程度,会导致其维修加固不及时,进而直接威胁受损结构周围人员的生命安全。目前,对水工机械装备锈蚀特征识别主要以人工目视检测为主,容易导致视觉疲劳、主观性较强、锈蚀程度的检测准确率不高等问题。为此,本文提出以VGG-16(visual geometry group,VGG)网络为基础、融合注意力机制和双线性池化的锈蚀等级评估方法。首先,利用RGB(red green and blue)和HSV(hue saturation and value)两种色彩空间中不同分量包含锈蚀图像特征不同的特点,将不同色彩空间作为不同支路网络的输入,使其能够充分利用不同色彩空间的图像特征;其次,在两个支路网络中嵌入注意力机制,通过注意力机制的可训练权重对锈蚀图像的特征进行重标定,调整权重,聚焦于最相关的特征进行学习;再次,采用双线性池化融合不同支路提取的特征,使网络聚焦于最相关的细粒度图像特征,提高网络模型对锈蚀图像细微差异特征的利用;最后,通过盐雾锈蚀实验获取锈蚀图像数据,并在数据集上对本文方法进行消融和对比分析。结果表明,相较于原模型及其他主流算法,改进后模型的分类准确率达到了0.953,精确率、召回率、F1系数等评价指标均有大幅提升,本文方法对于不规则锈蚀图像特征能够取得更好的评估效果,可以转化应用于工程实践。

基于跨层双线性池化的糖尿病视网膜病变分级算法研究

针对糖尿病视网膜病变(DR)分级任务中不同种类之间差异性微小特点,提出一种基于跨层双线性池化(CHBP)的视网膜病变分级算法。首先根据霍夫圆变换(HCT)对输入图像进行裁剪,再使用预处理方法提升图像对比度;然后以挤压激励分组残差网络(SEResNeXt)作为模型的主干,引入跨层双线性池化模块进行分类;最后在训练过程中引入随机拼图生成器进行渐进训练,并采用中心损失(CL)和焦点损失(FL)方法进一步提升最终分类效果。实验结果显示,本文方法在印度糖尿病视网膜病变图像数据集(IDRiD)中二次加权卡帕系数(QWK)为90.84%,在梅西多数据集(Messidor-2)中受试者工作特征曲线下的面积(AUC)为88.54%。实验证明,本文提出的算法在糖尿病视网膜病变分级领域具有一定应用价值。

结合注意力与双线性网络的细粒度图像分类

如何对识别物体进行精确定位并提取更具有表达力的特征,是细粒度图像分类算法的核心问题之一.为此,本文提出了一种基于注意力机制的双线性卷积神经网络细粒度图像分类算法(BAM B-CNN),主要工作如下:1)通过VGG-16网络获得原始图像的激活映射图,选取大于平均值的最大联通区域作为物体图像;2)使用区域建议网络(RPN)提取候选区域,结合部件注意力模型将候选区域分为k组,以各组评分最高的候选区域作为部件图像;3)在双线性网络中引入通道注意力模块,学习通道间的非线性关系,提高关键特征的表达力;4)使用分类模型结合不同层次特征的优点,提高分类精度.理论分析和试验验证均验证了所提算法的有效性.

基于双线性特征融合方法的畸变失真图像质量评价

针对畸变失真图像影响后续图像信息获取的问题,提出了一种基于双线性特征融合方法的畸变失真图像质量评价算法。首先基于人类视觉对图像结构特征敏感的特点提取结构图像,然后将原始图像和结构图像作为双流卷积网络的输入,将两支路网络输出的低层结构特征和高层语义特征通过双线性池化层进行特征融合,最后通过全连接层输出图像质量预测分数。为了验证算法的有效性,在4个公开的图像数据集LIVE、CSIQ、MLIVE与TID2013上进行实验。结果表明,所提算法与当前的失真图像质量评价算法相比,在LIVE、CSIQ和MLIVE数据集上斯皮尔曼等级相关系数(Spearman rank-order correlation coefficient,SROCC)和皮尔逊线性相关系数(Pearson linear correlation coefficient,PLCC)指标至少提升0.2%左右,在TID2013数据集上SROCC值至少提升0.5%左右。所提算法评价结果与人类视觉主观感知有较好的一致性,对多种失真图像质量评价可以取得不错的效果。

基于双线性注意力金字塔网络的压疮等级识别

在实际临床应用场景下,压疮伤口等级分类较多且图像间差距小。针对使用图像识别技术对压疮图像分类难度大的问题,提出了基于双线性注意力金字塔的压疮等级识别网络BAP-CNN。该网络以细粒度分类网络APCNN为基础(细粒度指类间差距小的情况符合压疮等级分类需求),设计了瓶颈注意力模块,并且采用双线性注意力池化的方法,从而提升模型的整体性能和识别准确率。实验结果表明,在细粒度视觉分类数据集和自建压疮伤口图像SCU-PU数据集上,改进后的网络BAP-CNN与基础网络APCNN以及经典细粒度网络NTS、WSDAN相比,模型的识别率均有所提升,证明了改进方法的有效性,以及在不同数据集下良好的泛化能力。

基于空-谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络(SSF-Net)的高光谱图像分类方法。首先,利用双通道卷积神经网络(Two-CNN)同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化(MCB)将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。