基于多尺度双线性卷积神经网络的多角度下车型精细识别

针对多角度下车辆出现一定的尺度变化和形变导致很难被准确识别的问题,提出基于多尺度双线性卷积神经网络(MS-B-CNN)的车型精细识别模型。首先,对双线性卷积神经网络(B-CNN)算法进行改进,提出MS-B-CNN算法对不同卷积层的特征进行了多尺度融合,以提高特征表达能力;此外,还采用基于中心损失函数与Softmax损失函数联合学习的策略,在Softmax损失函数基础上分别对训练集每个类别在特征空间维护一个类中心,在训练过程中新增加样本时,网络会约束样本的分类中心距离,以提高多角度情况下的车型识别的能力。实验结果显示,该车型识别模型在CompCars数据集上的正确率达到了93.63%,验证了模型在多角度情况下的准确性和鲁棒性。

基于双线性卷积神经网络的杂草细粒度识别

针对复杂田间环境下杂草形态相似对深度学习模型识别效果的影响,本文以玉米及其主要伴生杂草作为研究对象,提出一种基于双线性卷积神经网络的细粒度杂草识别方法,用于提升作物与杂草识别的准确率。首先,研究对比了常见通用图像分类模型在杂草识别上的表现,选用识别效果较好的VGGNet-19和ResNet-50作为双线性网络的主干结构,以获取更有效的杂草特征,并采用迁移学习的方式训练网络。实验结果表明,该方法在数据集上的识别准确率高达98.5%,高于单一网络模型的识别效果且能够准确地区分具有高相似度的田间杂草,为智能田间除草作业提供高精度的信息支持。

基于稀疏化双线性卷积神经网络的细粒度图像分类

针对双线性卷积神经网络(B-CNN)在细粒度图像分类中因参数过多、复杂度过高而导致的过拟合问题,提出稀疏化B-CNN。首先对B-CNN的每个特征通道引入比例因子,在训练中采用正则化方法对其稀疏。然后利用比例因子的大小判别特征通道的重要性。最后将不重要特征通道按一定比例裁剪,消除网络过拟合,提高关键特征的显著性。稀疏化B-CNN属于弱监督学习,可实现端到端训练。在FGVC-aircraft、Stanforddogs、Stanfordcars这3个细粒度图像数据集上的实验表明,稀疏化B-CNN的准确率高于B-CNN,也优于或基本接近其它通用的细粒度图像分类算法。

基于双线性卷积神经网络模型的阿尔茨海默病自动诊断

目的探讨基于双线性卷积神经网络(BRNV)模型的阿尔茨海默病(AD)自动诊断。方法选取AD神经成像倡议(ADNI)数据库中的AD(n=93)、轻度认知功能障碍(MCI,n=76)及正常认知(NC,n=100)受试者的核磁共振图像(MRI)作为数据集,预处理后按照8∶2的比例分为训练集和验证集,同时另取ADNI中不同于以上已经选取的受试者数据150例作为测试集(AD、MCI及NC受试者各50例),将每名受试者经过预处理后的三维MRI数据转换为矢状面、冠状面及横断面2 D切片123张,最终获得AD组MCI组及NC组受试者训练集(n=9225、7503、9840)、验证集(n=2214、1845、2460)及测试集(n=6150、6150、6150)2 D切片;设计BRNV模型对预处理后的MRI数据进行分类预测,采用迁移学习方法为模型寻找最优的初始网络参数权重,通过BRNV模型对AD的分类效果绘制受试者工作特征曲线(ROC),以ROC曲线下面积(AUC)、准确率、特异性及敏感性评估模型的诊断价值。结果BRNV模型对AD受试者诊断分类,准确率、AUC、特异性及敏感性分别达85.4%、91.3%、86.1%及84.2%;BRNV模型对MCI受试者诊断分类,准确率、AUC、特异性及敏感性分别达73.3%、75.1%、72.0%及74.0%。结论BRNV模型在AD自动诊断中具有较高的准确率,有助于针对AD的计算机辅助诊断系统开发,并帮助医生提高AD的诊断效率。

基于双线性卷积宽度网络的水稻病虫害识别

针对水稻病虫害数据集构建不够完善,现有方法对小样本数据集识别准确度低的问题,提出一种基于双线性卷积宽度网络(BCBN)的小样本水稻病虫害识别方法。所提方法利用双线性卷积神经网络(B-CNN)提取水稻病虫害图像的双线性特征,并通过宽度学习系统(BLS)算法增强双线性特征,从而提高模型的识别准确率。实验结果表明,BCBN在使用BLS增强双线性特征后,病虫害图像中的判别性特征得到了更高的权重占比,有效降低了模型的误分率,模型识别准确率达97.44%。所提方法在样本量较少时具有明显优势,能够满足真实场景下水稻病虫害分类检测的需求,为水稻病虫害识别技术提供了一种可行的思路。

基于双线性RepVGG注意力网络的花卉分类

为进一步提高花卉分类的准确率,在对双线性卷积神经网络、RepVGG及注意力机制进行研究的基础上,提出一种基于双线性RepVGG注意力机制的网络模型。首先利用RepVGG网络替换原始的特征提取网络VGG,以提高对花卉主要特征的提取能力;然后在两个RepVGG网络中分别引入通道注意力及空间注意力机制,并利用两个RepVGG网络外积后生成的高维双线性特征,来提取花卉的细粒度特征;最后通过结构重参数化,将RepVGG的各层转换为单路结构,以提高模型推理的速度。实验结果表明,在增强的Oxford-102数据集上,新模型与原始模型及常见模型相比,其推理速度及分类准确率均有较大的提升,与未引入注意力前相比,分类准确率也有一定的提升。

基于双线性卷积神经网络的视觉目标跟踪算法

当前的一阶段回归网络可以通过多分支响应图的融合获得多级信息。然而,现有算法的响应图融合方法主要是基于简单的逐元素相加或相乘运算。基于此,提出一种新的跟踪模型,该模型集成了基于双线性卷积神经网络的新型响应图融合方法,可以获得响应图的位置关联和信息交互,利于更准确地跟踪目标物体。基于OTB2013基准数据库对本文算法进行测试,结果表明,与一流的跟踪算法相比,本文算法已经取得了比较有竞争力的结果。

基于CAM与双线性网络的鸟类图像识别方法

细粒度图像识别问题是针对同一个大类下面的不同子类进行精确识别。细粒度图像分类以其类间差异小、类内差异大等特点,一直是计算机视觉领域研究的热点和难点。针对利用CAM网络提取最佳判别性区域,导致缺乏其他辅助判别区域特征。为此,提出利用CAM网络反复提取判别性区域特征,对不同判别性区域施加权重,得到最终的判别性区域,使用注意力双线性网络提取图像高阶特征。同时引入嵌入空间,利用一种新的混合损失函数提高特征的判别性,进而提高方法的分类性能。在公开的细粒度数据集上,CUB-200-2011分类准确率为87.3%,比ResNet50网络提高5.6个百分点。实验结果表明:该方法能有效提高弱监督鸟类图像分类的准确率。

基于改进双线性的细粒度图像分类方法

文章研究了基于双线性卷积神经网络,结合可变形卷积和核化网络对动物数据集进行细粒度图像分类。其中,可变形卷积通过对特征值进行调整,能自适应被识别物体的特征边界,核聚合网络克服了BCNN仅关注线性相关的缺点,在非线性领域进一步增强细粒度特征的提取能力,丰富了不同通道间的卷积特征。实验在不同动物数据集上进行,与BCNN模型、其他改进BCNN的模型对比,精确度达到98.85%,同时证明了优异的泛化能力。

基于Res2Net和双线性注意力的番茄病害时期识别方法

针对番茄叶片型病害在早晚期具有类内差异大、类间差异小的特点,常规神经网络对此类病害的分类效果不佳的问题,提出了基于Res2Net和双线性注意力的番茄病害时期识别方法,通过多尺度特征和注意力机制,提高网络的细粒度表征能力。首先,提出EFCA通道注意力模块,在不降维的基础上,使用二维离散余弦变换代替全局平均池化,以减少常规通道注意力获取时的信息丢失。其次,在外积之后加入最大池化和concat操作,避免双线性融合后因维度过高导致的特征冗余。在7种不同种类和14种不同程度病害番茄叶面型病害数据集实验中,本文方法分类准确度分别为98.66%和86.89%。

基于特征融合的FL-BCNN鱼类识别算法研究

为了解决水下相机设备捕获的鱼类图像质量差、数据量不均匀等难以准确识别鱼类的问题,提出一种基于特征融合的FL-BCNN鱼类识别算法。对B-CNN算法进行改进,融合不同卷积层的特征,提高细粒度特征的表达能力,解决了图像质量差引起的特征不明显的问题。利用焦点损失函数(Focal Loss)解决样本数据不平衡的问题,提高水下鱼类图像的识别能力。利用F4K(15)数据集与四个已有算法进行鱼类识别对比实验。实验结果表明,FL-BCNN鱼类识别算法的识别精度较高,具有较好的识别速度,可以有效解决鱼类识别中样本不平衡的问题。

基于深度学习的羊脸细粒度特征的身份识别

由于目前羊面部图像差距小,其细粒度图像难以识别。基于双线性卷积神经网络(Biliner-CNN),提出了一种基于VGG19-ResNet50非对称的改进B-CNN网络模型,对羊面部细粒度图像进行身份识别;将VGG19和ResNet50作为不同注意力特征提取器,并将特征提取后的结果做外积融合以形成最终的个体身份特征,最后利用全连接层和softmax层对提取到的特征进行分类。试验结果表明:在对20只羊的1657张不同角度、光照、姿态以及全身图像、面部图像的识别中,基于VGG19-ResNet50非对称的改进B-CNN网络模型准确率达到99.69%。

基于细粒度图像分类算法的新冠CT图像分类

为解决新型冠状病毒肺炎(COVID-19:Corona Virus Disease 2019)计算机辅助诊断相关问题,建立双线性卷积神经网络模型,选取VGG(VGG:Visual Geometry Groupnetwork)16与VGG19网络作为特征提取子网络,将算法应用于新冠图像分类,并与基本图像分类算法进行对比。计算结果和病灶可视化分析表明,与其他深度学习网络模型相比,双线性卷积神经网络模型具有更高的精度,准确度高达95.19%。通过替换原始分类层,采用支持向量机分类器,模型分类准确度进一步提高至96.78%。研究结果证实了细粒度图像算法在新冠CT图像分类上的可行性,为快速正确诊疗新冠肺炎提供了可靠的工具。

联合矢量数据和深度学习的遥感影像对象级分类样本自动选择方法

针对目前的样本获取手段过于依赖人工制作,难以满足当前业务化实际需求的问题,提出了一种基于历史矢量数据和双线性差异化集成卷积神经网络支持的对象级样本自动选择方法。该方法首先通过对影像多尺度分割获取同质性较高的地物块状图斑,将历史矢量携带的标签信息赋值给该块状图斑;然后,通过图斑边界约束自适应生成多尺度样本集;最后,利用双线性差异化集成卷积神经网络进行样本的选择和纯化,通过属性关联实现对象级的高质量样本获取。无人机影像的分类结果表明,该方法充分结合了历史矢量数据先验几何约束和属性信息,顾及了最新影像中地物的光谱特性、边界特征和纹理信息,并引入深度学习方法实现了多尺度样本的纯化处理,实现了快速获取满足实际需求的高可靠性对象级分类样本。

基于改进B-CNN模型的羊绒与羊毛纤维识别

由于物体本身较小的类间差异和因拍摄环境、背景等导致的较大的类内差异,羊绒和羊毛的图像识别一直是纺织领域的难题。为解决羊绒与羊毛纤维难以鉴别的问题,提出一种改进的双线性卷积神经网络(bilinear convolutional neural network,B-CNN)模型用于羊绒和羊毛纤维识别。该方法通过对两路网络进行改进,提取纤维原始样本图像和骨架图像不同层次特征向量,采用向量拼接方式融合2幅图像特征,实现信息互补,从而增强特征表达能力,最后使用迁移训练,解决纤维扫描电子显微镜(scanning electron microscope,SEM)图像小样本问题,提高分类精度和效率。实验结果表明:该模型与经典B-CNN模型相比,测试集准确率最高可达98.06%,说明该模型能够有效解决羊绒与羊毛纤维识别问题。

基于B-CNN算法的汽车数据集细粒度图像分类分析

为了提高计算机视觉领域细粒度分类方法性能,采用双线性卷积神经网络(B-CNN)对其进行建模研究。以StanfordCars汽车数据集为研究对象,开展细粒度图像分类分析。对B-CNN进行阐述。应用了组归一化、dropout技巧,调整可训练参数,并在汽车数据集上进行试验。比较了经典卷积神经网络和B-CNN。在网络训练中,合适的学习率有助于提升训练速度。在损失函数变化幅度变小到一定范围时,将学习率变小,可跳出局部最优解,寻找全局最优解,避免陷入死循环。结果显示,与单路神经网络相比,B-CNN在输入图像大小为(224,224)时,在汽车数据集中的准确率提升了16%。B-CNN适用于一些细粒度图像分类任务,能提升分类准确率,具有很好的实际应用效果。

YOLOv3和双线性特征融合的细粒度图像分类

目的细粒度图像分类是计算机视觉领域具有挑战性的课题,目的是将一个大的类别分为更详细的子类别,在工业和学术方面都有着十分广泛的研究需求。为了改善细粒度图像分类过程中不相关背景干扰和类别差异特征难以提取的问题,提出了一种将目标检测方法 YOLOv3(you only look once)和双线性融合网络相结合的细粒度分类优化算法,以此提高细粒度图像分类的性能。方法利用重新训练过的目标检测算法YOLOv3粗略确定目标在图像中的位置;使用背景抑制方法消除目标以外的信息干扰;利用融合不同通道、不同层级卷积层特征的方法对经典的细粒度分类算法双线性卷积神经网络(bilinear convolutional neural network,B-CNN)进行改进,优化分类性能,通过融合双线性网络中不同卷积层的特征向量,得到更加丰富的互补信息,从而提高细粒度分类精度。结果实验结果表明,在CUB-200-2011 (Caltech-UCSD Birds-200-2011)、Cars196和Aircrafts100数据集中,本文算法的分类准确率分别为86.3%、92.8%和89.0%,比经典的B-CNN细粒度分类算法分别提高了2.2%、1.5%和4.9%,验证了本文算法的有效性。同时,与已有细粒度图像分类算法相比也表现出一定的优势。结论改进算法使用YOLOv3有效滤除了大量无关背景,通过特征融合方法来改进双线性卷积神经分类网络,丰富特征信息,使分类的结果更加精准。

基于自身注意力时空特征的语音情感识别算法

针对语音情感识别中无法对关键的时空依赖关系进行建模,导致识别率低的问题,提出一种基于自身注意力(self-attention)时空特征的语音情感识别算法,利用双线性卷积神经网络、长短期记忆网络和多组注意力(multi-head attention)机制去自动学习语音信号的最佳时空表征。首先提取语音信号的对数梅尔(log-Mel)特征、一阶差分和二阶差分特征合成3D log-Mel特征集作为卷积神经网络的输入;然后综合考虑空间特征和时间依赖性关系,将双线性池化和双向长短期记忆网络的输出融合得到空间-时间特征表征,利用多组注意力机制捕获判别性强的特征;最后利用softmax函数进行分类。在IEMOCAP和EMO-DB数据库上进行实验,结果表明两种数据库的识别率分别为63.12%和87.09%,证明了此方法的有效性。

基于Grad-CAM与B-CNN的细粒度图像分类方法研究

细粒度图像具有类间差异小,类内差异大的特点。图像之间的差异主要存在于细微的局部区域,局部区域定位及其代表性特征提取成为细粒度图像分类的主要研究问题之一。本文基于Grad-CAM和双线性卷积神经网络B-CNN模型对细粒度图像分类方法进行研究,它利用Grad-CAM模型定位原图像中的显著区域,并裁剪出显著性区域图像作为双线性CNN的输入,融合全局和局部的特征,从而完成分类。在CUB-200-2011、Stanford Dogs和Stanford Cars三个数据集上的实验表明,相较于传统模型,该方法能够更加准确定位图像特征显著区域,具有更好的分类效果。

聚焦——识别网络架构的细粒度图像分类

目的细粒度图像分类是指对一个大类别进行更细致的子类划分,如区分鸟的种类、车的品牌款式、狗的品种等。针对细粒度图像分类中的无关信息太多和背景干扰问题,本文利用深度卷积网络构建了细粒度图像聚焦—识别的联合学习框架,通过去除背景、突出待识别目标、自动定位有区分度的区域,从而提高细粒度图像分类识别率。方法首先基于Yolov2(youonly look once v2)的网络快速检测出目标物体,消除背景干扰和无关信息对分类结果的影响,实现聚焦判别性区域,之后将检测到的物体(即Yolov2的输出)输入双线性卷积神经网络进行训练和分类。此网络框架可以实现端到端的训练,且只依赖于类别标注信息,而无需借助其他的人工标注信息。结果在细粒度图像库CUB-200-2011、Cars196和Aircrafts100上进行实验验证,本文模型的分类精度分别达到84. 5%、92%和88. 4%,与同类型分类算法得到的最高分类精度相比,准确度分别提升了0. 4%、0. 7%和3. 9%,比使用两个相同D(dence)-Net网络的方法分别高出0. 5%、1. 4%和4. 5%。结论使用聚焦—识别深度学习框架提取有区分度的区域对细粒度图像分类有积极作用,能够滤除大部分对细粒度图像分类没有贡献的区域,使得网络能够学习到更多有利于细粒度图像分类的特征,从而降低背景干扰对分类结果的影响,提高模型的识别率。