基于卷积胶囊编码器和多尺度局部特征共现的图像分割网络

U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet(network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。

基于多尺度时间卷积网络的多模态过程故障诊断方法

针对工业过程故障诊断面临的多模态、多尺度等混合特性问题,提出一种基于多尺度时间卷积网络的故障诊断方法。考虑到过程数据的多模态分布特性,采用基于余弦相似度的局部近邻标准化方法处理过程数据以消除多模态特性;针对过程数据的多尺度特性,使用变分模态分解获取数据的多尺度表示,对各分量构建采用注意力机制的时间卷积网络模型提取特征,并融合多尺度特征,以实现多尺度特征提取;在特征提取的基础上使用全连接层实现故障诊断。通过田纳西-伊斯曼(Tennessee-Eastman,TE)过程仿真实验验证了该方法的有效性和可行性。

基于局部特征尺度分解与最小熵解卷积的轴承故障诊断

为准确进行滚动轴承的故障诊断,结合局部特征尺度分解(LCD)和最小熵解卷积(MED)给出了一种新的故障诊断方法。首先,对轴承振动信号进行局部特征尺度分解,得到若干个内禀尺度分量;然后,依据互相关系数指标,采用聚类分析方法自动选取有用分量并叠加作为重构信号;最后,应用最小熵解卷积将重构信号降噪,并应用包络分析技术进行故障诊断。通过轴承内、外圈故障振动数据的分析表明:经LCD-MED处理后,振动信号的峭度值得到了较大提高,故障特征频率更加突出,基于LCD-MED的方法在轴承故障诊断中有效且合理。

基于多尺度时空注意力网络的微表情检测方法

微表情可以揭示人们试图隐藏的真实情绪,为刑事侦查、心理辅导等提供潜在的信息。现有微表情检测方法主要在获取空间特征的基础上提取时间特征以构建时空特征,这种处理方式容易导致时间特征失真,同时在空间处理过程中会破坏原有时序关系,降低微表情时空特征的判别性。针对这一问题,提出基于多尺度时空注意力网络的微表情检测方法。利用包含时间和空间关系的三维卷积神经网络(3DCNN)对微表情序列进行处理,获取兼顾时间域和空间域的鲁棒性特征。构建多尺度时间输入序列,从不同时间长度的图像序列中提取多维时间特征,采用轻量级3DCNN提取多尺度时空特征,利用全局时空注意力模块(GSAM)对时空特征进行全局性时空关联加强,其中时空重组模块用于加强不同时刻图像帧之间的连通性,全局信息关注模块构建单帧图像上的空间关联信息,最后对不同时刻的特征赋予权重以突出关键时间信息,有效完成微表情检测工作。实验结果表明,该方法可以准确检测出微表情序列片段,在CASME、CASME II和SAMM公开数据集上的准确率分别达到92.32%、95.04%和89.56%,相比目前最优的深度学习方法LGAttNet,所提方法在CASME II和SAMM数据集上的准确率分别提高了3.84和4.96个百分点。

结合多尺度融合和图匹配的行人重识别

由于行人遮挡、视角变化等因素影响,传统的行人重识别并不能准确表达遮挡行人的信息。针对该问题,提出一种基于多尺度融合和图匹配的网络模型。分为提取不同尺度的特征和基于拓扑结构匹配图像两个部分,将主干网络分为两个子分支分别提取全局特征并融合多个网络层面的局部特征;使用多头注意力机制学习相邻关键点的关系,基于拓扑结构匹配图像并预测相似度结果。使用ResNet-50作为主干网络,在Occluded-Duke数据集上的Rank-1和mAP分别是64.8%和59.9%,验证该模型在遮挡行人重识别中有一定程度的准确率提升。

基于多尺度局部累积特征和神经网络的抗肿瘤药物反应预测

目前已有的研究结果表明现有抗肿瘤药物的有效性高度依赖于患者的基因组学特征.如何为每位肿瘤患者量身定制最佳的治疗方案是重要又富有挑战性的前沿课题.针对该课题,文中提出抗肿瘤药物反应预测方法,运用机器学习技术,对患者肿瘤基因测序数据进行处理、特征提取及建模,预测各种不同抗肿瘤药物的疗效反应.首先,提出基于多尺度关联规则的数据挖掘方法,对基因组学数据进行不同尺度的特征挑选.进而通过累积窗函数对挑选后的基因组学数据进行局部累积,进一步执行数据压缩,提取具有较强整体表达性的基因特征信息.然后,以多层全连接神经网络为模型、以提取的多尺度累积基因特征为输入样本,进行训练和建模.最后,分别采用特征融合和决策融合,实现某一肿瘤基因测序数据对于各种不同抗肿瘤药物反应结果的预测.在COSMIC、GDSC数据库上的仿真实验表明,文中方法在敏感性、特异性、准确率、特性曲线面积值等关键性能指标上均取得较优值.

基于多特征融合卷积神经网络的显著性检测

随着深度学习技术的发展以及卷积神经网络在众多计算机视觉任务中的突出表现,基于卷积神经网络的深度显著性检测方法成为显著性检测领域的主流方法。但是,卷积神经网络受卷积核尺寸的限制,在网络底层只能在较小范围内提取特征,不能很好地检测区域内不显著但全局显著的对象;其次,卷积神经网络通过堆叠卷积层的方式可获得图像的全局信息,但在信息由浅向深传递时,会导致信息遗失,同时堆叠太深也会导致网络难以优化。基于此,提出一种基于多特征融合卷积神经网络的显著性检测方法。使用多个局部特征增强模块和全局上下文建模模块对卷积神经网络进行增强,利用局部特征增强模块增大特征提取范围的同时,采用全局上下文建模获得特征图的全局信息,有效地抑制了区域内显著而全局不显著的物体对显著性检测的干扰;能够同时提取多尺度局部特征和全局特征进行显著性检测,有效地提升了检测结果的准确性。最后,通过实验对所提方法的有效性进行验证并和其它11种显著性检测方法进行对比,结果表明所提方法能提升显著性检测结果的准确性且优于参与比较的11种方法。

多层次特征和粒子群优化的场景分类

针对遥感图像的场景分类精度问题,提出多层次特征和粒子群算法优化分类器的场景分类算法。利用聚集局部描述符编码算法对尺度不变特征变换算法提取的局部特征编码,获得中层特征,通过卷积神经网络提取高层特征,将提取的特征作为支持向量机的输入数据,引入粒子群算法优化该分类器的参数,进行场景分类。在RSC11和WHU-RS19两个公开的遥感图像数据集上进行实验,分类精度分别达到95.28和97.20。将WHU-RS19数据集的结果与其它方法比较,精度有明显提高。实验结果表明,在分类时对分类器参数进行优化,分类效果更佳。

改进多尺度卷积神经网络的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在的信息丢失严重、组件间相对空间联系不密切的问题,提出了一种改进的多尺度卷积神经网络模型,通过构建深层多尺度卷积神经网络,使模型能够挖掘出更多潜在的特征信息;通过特征融合促进信息的流通和重利用,减少池化操作所引起的重要信息丢失,使得模型具有更好的学习能力;通过控制每层多尺度卷积神经网络的卷积核大小来平衡全局特征与局部特征之间的关系,从而增强不同组件间的相对空间联系,避免了特征图通道信息的冗余。在两种不同的人脸表情识别数据集JAFFE和FER-2013上进行验证表明,算法在测试集上的准确率分别达到了95.45%和76.56%,证明了所提算法的有效性和先进性。

行人再识别中的多尺度特征融合网络

针对行人再识别中待识别对象和目标对象的体态、衣服的颜色等外貌特征非常相似时,模型难以正确识别行人身份这一难点问题,提出了一个基于残差网络ResNet50改进的多尺度特征融合网络.通过利用最后一层特征协同多个中间层特征,采用顶层到下层递进式加和的特征层融合机制来提取行人图像特征,确保模型在总体特征表述基础上,提高对微小细节信息的表征能力.在3个主流的行人再识别公共数据集Market-1501、CUHK03(D)和DukeMTMC-reID上进行了实验,与2018年同类型的行人再识别网络DaRe相比,提出的方法比Market-1501数据集的Rank-1指标提升了2.82%,mAP指标提升了4.32%;比DukeMTMC-reID数据集的Rank-1指标提升了5.45%,mAP指标提升了6.4%.实验结果证明了所提出方法的有效性.

基于CNN的多尺度特征在手写数字识别中的应用

在手写数字识别数据集(MNIST)情景下,为了提高卷积神经网络的识别正确率,提出了一种改进的基于卷积神经网络(CNN)的多尺度特征识别算法.首先,利用卷积操作和池化操作提取图像中的全局特征及局部特征,通过二次卷积与特征融合获得数字图像的多尺度特征.然后,将多尺度特征送入全连接网络和SoftMax分类器,实现手写数字图像识别.最后,通过对不同网络结构的CNN算法进行评估表明,本文提出的算法可以有效提高网络精度,具有较好的泛化能力.

基于多特征组合的细粒度图像分类方法

针对单一特征表示的局限性会导致细粒度图像分类准确度不高的问题,提出了一种基于卷积神经网络(CNN)和尺度不变特征转换(SIFT)的多特征组合表示方法,综合考虑对目标整体、关键部位和关键点的特征提取。首先,分别以细粒度图像库中的目标整体和头部区域训练CNN得到两个网络模型,用来提取目标的整体和头部CNN特征;然后,对图像库中所有目标区域提取SIFT关键点并通过K均值(K-means)聚类生成码本,再将每个目标区域的SIFT描述子通过局部特征聚合描述符(VLAD)参照码本编码为特征向量;最后,组合多种特征作为最终的特征表示,采用支持向量机(SVM)对细粒度图像进行分类。使用该方法在CUB-200-2011数据库上进行实验,并与单一的特征表示方法进行了比较。实验结果表明,该方法与基于单一CNN特征的细粒度图像分类相比提升了13.31%的准确度,证明了多特征组合对细粒度图像分类的积极作用。

基于Transformer特征关联融合小目标检测算法研究

随着信息化时代的发展,数字技术广泛应用在军事领域。目标检测是武器系统的核心功能,是影响战争局势的重要因素,在侦察、预警及监视等方面具有重要的作用。然而当今目标检测领域主要存在四个问题:小目标检测、小样本检测、检测实时性和遮挡目标检测,小目标检测更是其中的重点和难点。小目标一般只占有几十甚至几个像素,传统检测算法难以依据先验知识,构建适当的特征提取模型并取得精确的检测结果。深度学习检测算法在特征提取时容易丢失特征信息,在复杂多变的应用场景下,容易混淆目标特征与背景噪声。此外,当前的小目标检测算法存在小目标语义特征利用不充分、小目标空间特征不突出等问题。算法检测准确率较低,存在大量漏检和误检现象。针对上述问题,本文提出了一种基于多尺度局部卷积特征关联(Multi-scale Local Convolutional Feature Association,MLCFA)机制的小目标检测算法。MLCFA的核心部分包含局部卷积注意力关联(Local Convolutional Attention Association,LCAA)模块和互注意力特征重构(Cross Attention Feature Reconstruction,CAFR)模块。LCAA模块对特征融合网络得到的多尺度特征图提取特征相关性,并加强小目标内部像素之间的联系,抑制背景噪声的同时突出小目标空间特征的统一性,提高复杂背景下的检测鲁棒性。CAFR模块通过自注意力机制得到100个查询向量,并结合LCAA得到的关联特征序列进行全局特征重构,通过全连接网络得到目标检测信息,一定程度上解决了小目标边界框扰动以及特征缺失的问题。在TinyPerson数据集上的对比实验表明,搭载MLCFA的网络模型与RetinaNet等算法相比,对两类目标检测的F1-Score分别提升了19.81%和11.88%,大幅度提高了小目标检测性能,证明了MLCFA模块的有效性。此外通过收敛速度实验表明,MLAFC只需要50个epoch即可具备良好的检测性能,模型推理较快,具有一定的模型迁移能力。

基于多重降噪的滚动轴承声信号故障特征提取

针对滚动轴承故障诊断中声信号信噪比较低、特征提取困难的问题,提出多重降噪轴承故障特征提取方法。该方法首先用最小熵解卷积对故障轴承声信号进行预处理来提高信噪比,然后利用局部特征尺度分解将处理后的信号分解为多个内禀尺度分量,进一步利用相关系数-峭度值原则,筛选出最佳内禀尺度分量进行重构,最后通过1.5维Teager能量谱提取轴承故障特征。仿真及实验结果表明,相较于单一使用最小熵解卷积或局部特征尺度分解等降噪方法,多重降噪方法可以在信噪比极低的情况下有效提取故障特征。

基于注意力机制与特征融合的图像超分辨率重建

目前多数利用卷积神经网络进行图像超分辨率重建的方法忽视对自然图像固有属性的捕捉,并且仅在单一尺度下提取特征。针对该问题,提出一种基于注意力机制和多尺度特征融合的网络结构。利用注意力机制融合图像的非局部信息和二阶特征,提高网络的特征表达能力,同时使用不同尺度的卷积核提取图像的不同尺度信息,以保存多尺度完整的信息特征。实验结果表明,该方法重建图像的客观评价指标和视觉效果均优于Bicubic、SRCNN、SCN和LapSRN方法。

融合多尺度局部特征与深度特征的双目立体匹配

针对立体匹配中不适定区域难以找到精确匹配点的问题,提出一种融合多尺度局部特征与深度特征的立体匹配方法。特征融合阶段包括两部分,其一是融合不同尺度下Log-Gabor特征和局部二值模式特征组合的浅层次特征,其二是将多尺度浅层融合特征和卷积神经网络提取的深度特征进行级联,形成既包含语义信息又包含结构化信息的特征图像。通过在极线垂直方向添加不同强度的噪声来构造正负样本,减小图像中极线对齐欠准带来的误差。将该方法与两种变体方法(改变或舍弃部分模块)在KITTI数据集进行对比实验,结果表明各模块设置具有合理性;与一些经典方法相比,所提方法取得了有竞争力的匹配性能。

Attention Res-Unet:一种高效阴影检测算法

图像中阴影像素的存在会导致图像内容的不确定性,对计算机视觉任务有害,因此常将阴影检测作为计算机视觉算法的预处理步骤.提出全新的阴影检测网络结构,通过结合输入图像中包含的语义信息和像素之间的关联,提升网络性能.使用预训练后的深层网络ResNeXt101作为特征提取前端,提取图像的语义信息,并结合U-net的设计思路,搭建网络结构,完成特征层的上采样过程.在输出层之前使用非局部操作,为每一个像素提供全局信息,建立像素与像素之间的联系.设计注意力生成模块和注意力融合模块,进一步提高检测准确率.分别在SBU、UCF这2个阴影检测数据集上进行验证,实验结果表明,所提方法的目视效果及客观指标皆优于此前最优方法所得结果,在2个数据集上的平均检测错误率分别降低14.4%和14.9%.

基于LCD和MCKD的轴承故障诊断

针对振动信号故障特征频率微弱且难以提取的问题,提出基于局部特征尺度分解(local characteristic-scale decomposition,LCD)和最大相关峭度反卷积(maximum correlated kurtosis deconvolution,MCKD)相结合的故障诊断方式。通过对待测信号进行LCD分解,得到一系列的内禀尺度分量(intrinsic scale component,ISC),并根据相关系数,即峭度的筛选原则选择重构所需的真实分量。再利用MCKD对重构信号进行降噪处理,最后对降噪后的信号进行包络解调,提取故障特征信息。实验证明该方法在轴承故障诊断上具有一定的可行性。

基于LCD关联维数和SVM的自动机故障诊断

针对自动机振动信号的非线性与短时冲击特性,提出了一种基于局部特征尺度分解(Local characteristic-scale decomposition,LCD)、关联维数和支持向量机(Support vector machine,SVM)三者相结合的故障诊断方法。首先,对自动机振动信号进行LCD分解,得到若干个内禀尺度分量(Intrinsic scale component,ISC)。然后,将ISC分量分别与原信号进行相关分析,筛选出包含主要故障信息的前几阶ISC分量,计算其关联维数并组成特征矩阵。最后,将特征矩阵输入SVM进行分类识别。自动机故障诊断实验表明,该方法能够较准确的识别自动机常见故障,为自动机故障诊断提供了新方法。

基于LCD-MCKD的滚动轴承故障特征提取方法

鉴于在复杂工况和强背景噪声环境下,滚动轴承的非线性非平稳信号的特征提取非常困难,导致早期故障难以诊断,提出了一种基于局部特征尺度分解(LCD)和最大相关峭度解卷积(MCKD)的故障特征提取方法.首先,利用LCD对信号进行分解,获得一系列瞬时频率具有物理意义的内禀尺度分量(ISC),选取相关系数较大的ISC分量进行重构;然后,利用MCKD方法对重构信号进行处理,增强冲击信号频率,实现降噪;最后,对经LCD-MCKD处理过的信号进行希尔伯特包络谱分析,验证所提方法的有效性.仿真和实验表明该方法能够有效提取故障特征频率,实现故障诊断.