基于多尺度深度图自适应融合的单目深度估计

深度估计网络通常具有较多的网络层数,图像特征在网络编码和解码过程中会丢失大量信息,因此预测的深度图缺乏对象结构细节且边缘轮廓不清晰。本文提出了一种基于多尺度深度图自适应融合的单目深度估计方法,可有效保留对象的细节和几何轮廓。首先,引入压缩与激励残差网络(SE-ResNet),利用注意力机制对不同通道的特征进行编码,从而保留远距离平面深度图的更多细节信息。然后,利用多尺度特征融合网络,融合不同尺度的特征图,得到具有丰富几何特征和语义信息的特征图。最后,利用多尺度自适应深度融合网络为不同尺度特征图生成的深度图添加可学习的权重参数,对不同尺度的深度图进行自适应融合,增加了预测深度图中的目标信息。本文方法在NYU Depth V2数据集上预测的深度图具有更高的准确度和丰富的物体信息,绝对相对误差为0.115,均方根误差为0.525,精确度最高达到99.3%。

MCFNet:融合上下文信息的多尺度视网膜动静脉分类网络

针对由于血管类间具有强相似性造成的动静脉错误分类问题,提出了一种新的融合上下文信息的多尺度视网膜动静脉分类网络(multi-scale retinal artery and vein classification network,MCFNet),该网络使用多尺度特征(multi-scale feature,MSF)提取模块及高效的全局上下文信息融合(efficient global contextual information aggregation,EGCA)模块结合U型分割网络进行动静脉分类,抑制了倾向于背景的特征并增强了血管的边缘、交点和末端特征,解决了段内动静脉错误分类问题。此外,在U型网络的解码器部分加入3层深度监督,使浅层信息得到充分训练,避免梯度消失,优化训练过程。在2个公开的眼底图像数据集(DRIVE-AV,LES-AV)上,与3种现有网络进行方法对比,该模型的F1评分分别提高了2.86、1.92、0.81个百分点,灵敏度分别提高了4.27、2.43、1.21个百分点,结果表明所提出的模型能够很好地解决动静脉分类错误的问题。

采用多尺度自适应选择卷积神经网络的轴承故障诊断研究

针对轴承故障诊断方法中传统多尺度卷积神经网络对不同尺度的特征只是简单拼接,而未考虑不同尺度的特征差异的问题,提出一种多尺度自适应选择卷积神经网络轴承故障诊断模型(MSASCNN)。通过不同大小的宽卷积筛选原始轴承振动信号中的特征,合并为初始特征;构建多尺度自适应选择卷积块,提取不同尺度的特征,利用改进的注意力机制自适应调整不同尺度的特征权重,加入残差连接,防止模型退化;通过分类器完成轴承故障诊断。在凯斯西储大学轴承数据集和XJTU-SY轴承数据集上的实验结果表明:在模型改进实验中,与没有改进注意力机制的模型相比,所提模型的轴承故障诊断准确率提升了1.98%;在不同信噪比的噪声干扰环境中,所提模型的轴承故障诊断准确率均高于93%。

基于依赖类型剪枝的双特征自适应融合网络用于方面级情感分析

现有的模型将基于依赖树的图神经网络用于方面级情感分析,一定程度上提升了模型的分类性能。然而,由于依赖解析技术的限制,语法解析结果的不精确导致依赖树存在大量噪声,使得模型的性能提升有限。此外,一些句子本身并不符合标准的句法结构。以往的研究以同样的置信度利用句法信息和语义信息,没有充分考虑它们对于确定方面词极性的贡献的不同,导致模型在相应的数据集上性能较差。为了克服这些困难,文中提出了一种基于依赖类型剪枝的双特征自适应融合网络。具体来说,该模型使用一种新型的混合方法,命名为依赖关系类型剪枝和邻接矩阵平滑,来缓解句法解析产生的噪声。此外,该模型通过双特征自适应融合模块充分考虑句子的句法信息的可用程度,以一种更灵活的方式将句法特征和语义特征结合起来用于方面级情感分析。在5个公开可用的数据集上进行广泛的实验,结果证明了该方法明显优于基线模型。

基于多域信息融合与深度分离卷积的轴承故障诊断网络模型

针对传统卷积神经网络(CNN)对滚动轴承振动信号的故障识别准确率不高这一问题,提出了一种基于多域信息融合结合深度分离卷积(MDIDSC)的轴承故障诊断方法。首先,利用自适应噪声的完全集合经验模态分解(CEEMDAN)算法对轴承振动信号进行了分解;然后,利用分解出的本征模态函数(IMF)的各个分量构建了多空间状态矩阵,并将该多空间状态矩阵输入该深度分离卷积模型中,进行了卷积训练;同时,在该深度分离卷积模型中添加了残差结构,对数据特征进行了复利用,并对卷积核进行了深度分离,解决了深度模型的网络退化问题;最后,提出了一种空间特征提取方法,对模型参数进行了修剪,采用一种自适应学习率退火方法进行了梯度优化,以避免模型陷入局部最优。研究结果表明:通过对多个轴承故障数据集进行对比分析可知,MDIDSC在轴承故障诊断方面的准确率和稳定性明显优于其他方法,MDIDSC的最高测试准确率为100%,平均测试准确率为99.07%;同时,在测试集中的最大损失和平均损失分别为0.1345和0.0841;该结果表明MDIDSC在轴承故障诊断方面具有一定的优越性。

AdfNet:一种基于多样化特征的自适应深度伪造检测网络

视频篡改造成的危害一直在危及人们的生活,这使深度伪造检测技术逐渐得到广泛关注和发展。然而,目前的检测方法由于使用了不灵活的约束条件,无法有效捕获噪声残差;此外,也忽略了纹理和语义特征之间的关联,以及时序特征对检测性能提升的影响。为了解决上述问题,文中提出了一种用于深度伪造检测的、具有多样化特征的自适应网络(AdfNet),它通过提取语义特征、纹理特征和时序特征帮助分类器判断真伪;探索了自适应纹理噪声提取机制(ATNEM),通过未池化的特征映射与基于频域的通道注意力机制,灵活捕获非固定频段的噪声残差;设计了深层语义分析指导策略(DSAGS),通过空间注意力机制突出篡改痕迹,并引导特征提取器关注焦点区域的深层特征;研究了多尺度时序特征处理方法(MTFPM),利用时序注意力机制给不同视频帧分配权重,捕获被篡改视频中时间序列的差异。实验结果表明,所提出的网络在FaceForensics++(FF++)数据集HQ模式中的ACC值为97.41%,相比当前主流网络有较为明显的性能提升;并且在FF++数据集上保持AUC值为99.80%的同时,在CelebDF上AUC值可达到76.41%,具有较强的泛化性。

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network,DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。

适用于图像超分辨率的多路径融合增强网络

卷积神经网络(Convolutional Neural Network,CNN)在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络(Multi-path Fusion Enhancement Network,MFEN)。具体来说,提出了一个新颖的融合注意力增强模块(Fusion Attention Enhancement Block,FAEB)作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成:主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块(Self-Adaptive Attention Module,SAAM)来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,从而实现更全面、更精准的特征学习。大量实验表明,该多路径融合增强网络在基准测试集上具有更高的准确性。

基于深度估计和特征融合的尺度自适应目标跟踪算法

针对核相关滤波目标跟踪算法(KCF)使用单特征来描述所跟踪的目标,在复杂环境下,目标尺度发生较大变化时,无法准确跟踪目标的问题,提出基于深度估计和特征融合的尺度自适应目标跟踪算法。首先利用深度神经网络估计视频序列中目标的深度,建立并训练深度-尺度估计模型;在跟踪过程中,融合目标方向梯度直方图(HOG)特征和CN(Color Name)特征训练相关滤波器,利用深度估计网络得到目标深度值,并利用深度-尺度估计模型得到目标的尺度值,从而在目标尺度发生变化时,能够调整目标框大小,实现尺度自适应的目标跟踪算法。实验结果表明,与经典的KCF算法相比,可获得更高的精度,与尺度自适应的判别型尺度空间跟踪(DSST)算法相比,在尺度变化较大时,跟踪速度更快;在环境复杂、目标被遮挡时,鲁棒性更好。

基于渐进多尺度注意力残差网络的单幅图像去雨方法

雨水会严重影响场景的能见度,降低成像质量,影响许多计算机视觉系统,如视频监控、自动驾驶等的正常工作。因此从退化的含雨图像中去除雨水是一项迫切的任务。论文提出了一种新的基于渐进式多尺度注意力残差网络模型(PMARnet)用于单幅图像去雨。首先考虑到复杂雨天场景一般包含多个不同特性的雨层,该网络将去雨过程分解为多个阶段,每个阶段使用残差网络预测不同的雨层,避免梯度消失。进一步采用了多尺度注意力残差模块(MAR),以更好地利用多尺度信息提取各层雨带的语义和空间细节特征,有效地表征每个雨层。在Rain100H和Rain100L两个公开数据集中与十一种先进的模型和方法进行了实验对比,我们的模型得到了最好的结果。其中,在Rain100H中,峰值信噪比(PSNR)达到28.06,结构相似度(SSIM)为0.89,较第二好的方法分别提升2.41%和1.14%;在Rain100L中,PSNR达到37.25,SSIM为0.98,较第二好的方法分别提升3.16%和1.03%,证明了该方法的有效性。论文所提出的PMARnet可以有效地在雨条纹层和干净背景图像层之间传播信息。PMARnet网络很好地利用了雨条纹层和背景层,取得了良好的去雨效果。

基于多尺度特征逐层融合深度神经网络的无参考图像质量评价方法

现有的针对真实失真的无参考图像质量评价算法提取的特征对自然场景图像质量的表征能力较差,限制了其评估准确性和泛化能力。针对该问题,文中提出了一个基于多尺度特征逐层融合的深度神经网络(MsFF-Net)。首先,利用预训练的深度神经网络ResNet-50提取图像多尺度特征;然后,提出了一种特征融合模块,通过逐层递进融合相邻尺度特征,获得更准确表征图像质量的多尺度融合特征;接着,从多尺度融合特征提取低维特征,得到多粒度的图像质量感知特征;最后,利用由最高层特征自适应生成的全连接神经网络,对低维特征进行回归,得到自然场景图像的质量预测。仿真结果表明,MsFF-Net在真实失真数据库上的性能优于目前的大多数方法,而且在合成失真数据库上也取得了出色的评价性能。

基于注意力多尺度融合的人脸表情识别算法研究

信息技术在教学中的应用导致师生之间缺乏一定程度的情感交流,为了弥补授课过程中的情感缺失,获得更好的教学反馈,提出基于注意力机制与多尺度特征融合(ASMF)的人脸表情识别算法。该算法以Resnet 50作为骨干网络,首先通过对多层卷积神经网络的输出特性进行多尺度的融合,引入上下文信息的同时提取更加丰富有效的表情特征信息;其次将注意力机制融入网络中,通过对各通道进行加权学习,得到注意力特征图,从而增强特征的表达能力,抑制冗余信息的影响;然后加入Dropout机制和Softmax Loss损失函数,进一步提高提取到的表情特征的可判别性;最后,利用消融试验在公开的数据集与自制的学生课堂表情数据集上验证该算法的有效性和稳定性,识别准确率达到93.87%。

基于多传感器数据融合和深度残差收缩网络的轴向柱塞泵故障诊断

为了解决单传感器振动信息不能全面表达柱塞泵故障特征信息的问题,提出了一种基于多传感器数据融合深度残差收缩网络学习的轴向柱塞泵故障诊断方法。首先,采用多传感器对振动信号进行采集,完善振动信号的故障特征信息。其次,针对振动信号的非平稳、非线性等特征,提出基于多元多尺度散布熵的多通道融合方法,获取一维故障特征向量,从而达到增强故障冲击特征的目的。然后,将故障特征向量输入到深度残差收缩网络模型,通过注意力机制,利用软阈值函数降低样本噪声及无关特征干扰,实现轴向柱塞泵故障特征识别。最后,通过轴向柱塞泵故障诊断试验验证所提方法的有效性。试验结果表明,该方法可有效提取振动信号的故障特征,识别正确率明显高于典型的深度学习方法。

融合分散自适应注意力机制的多尺度遥感影像建筑物实例细化提取

遥感影像建筑物准确、高效的自动提取方法有着广泛的用途。针对现有遥感影像建筑物提取方法难以兼顾不同大小的建筑物,导致小尺度建筑物不同程度上漏检及提取的建筑物轮廓边界模糊等问题,本文提出一种融合分散自适应注意力机制的多尺度遥感影像建筑物实例细化提取方法(MBRef-CNN)。首先采用融合分散自适应注意力机制的遥感影像多尺度特征提取网络(SA-FPN)学习多尺度建筑物的特征,然后利用区域候选网络(RPN)预测单个建筑物实例的目标框位置,最后使用边界细化网络(BndRN)迭代获取精确的建筑物掩膜。在WHU aerial imagery dataset数据集上,通过与现有主流方法进行对比试验表明,本文方法的建筑物掩膜提取精确度比其他表现优秀的主流分割算法更高,在多尺度的建筑物提取上表现出良好的综合性能,且在小尺度的建筑物提取上具有明显的精度优势。

基于多尺度残差网络的域适应轴承故障识别方法

不同工况下的故障轴承原始振动信号存在分布差异较大的问题,在进行故障诊断时也会存在特征提取不充分,从而导致故障诊断模型诊断精度较低的问题,为此,提出了一种基于多尺度残差网络的对数相关对齐(logCORAL-MsRN)的域适应轴承故障识别方法(模型)。首先,对轴承原始振动信号进行了预处理,将其转换为二维灰度图像;然后,使用多尺度残差块和空洞卷积对残差神经网络ResNet50的网络结构进行了改进,设计了一种多尺度残差网络(MsRN),以充分提取轴承的故障特征,避免深层网络结构的梯度消失问题;提出了一种对数相关对齐(logCORAL)域适应方法,更好地进行了域间分布对齐;最后,采用交叉熵损失和logCORAL损失作为目标优化函数,对上述模型(方法)进行了训练,在美国凯斯西储大学(CWRU)公开数据集上进行了变工况下的对比实验和消融实验。研究结果表明:logCORAL-MsRN方法在变工况条件下的轴承故障诊断的平均准确率高达96.53%,并且优于其他对比方法,即特征提取网络MsRN可以提取出不同尺度的、更加丰富的轴承故障信息,域适应方法logCORAL可以有效地对齐源域和目标域之间的特征分布,验证了该方法的有效性及优越性。

多尺度特征融合的双判别器残差生成对抗网络

生成对抗网络(generative adversarial networks, GANs)作为一类基于深度学习的无监督生成模型,无需对数据分布进行建模便可以生成真实且质量较高的图像。标准的GANs往往训练困难,常出现梯度消失、梯度爆炸或者模式崩溃等问题,限制模型的性能。为解决模式崩溃问题,本文提出一种双判别器结构来提高模型生成图像的多样性。另外,本文改进了生成器模型和判别器模型,提出一种基于残差网络和多尺度特征融合的生成器和基于多尺度特征融合的判别器,在提高生成图像质量的前提下解决深层网络出现的梯度消失、梯度爆炸的问题。将其应用于MNIST、LSUN、CelebA数据集上,训练结果稳定且生成图像质量较高,取得了令人满意的FID和IS值。

基于双分支多尺度融合网络的毫米波SAR图像多目标语义分割方法

在毫米波合成孔径雷达(SAR)安检成像违禁品的检测与识别中,存在着目标尺寸过小、目标被部分遮挡和多目标之间重叠等复杂情况,不利于违禁品的准确识别。针对这些问题,提出了一种基于双分支多尺度融合网络(DBMFnet)的违禁品检测方法。该网络使用Encoder-Decoder的结构,在Encoder阶段,提出一种双分支并行特征提取网络(DBPFEN)来增强特征提取;在Decoder阶段,提出一种多尺度融合模块(MSFM)来提高对目标的检测能力。实验结果表明,该方法的均交并比(mIoU)均优于现有的语义分割方法,降低了漏检与错检率。

基于多尺度循环卷积神经网络的卫星通信信号识别

针对目前的卫星通信调制分类算法大多忽略了不同尺度特征的融合问题,提出了一个多尺度循环卷积神经网络模型。该网络结构整合了双分支设计、压缩与激励策略、多尺度残差网络以及长短期记忆网络,旨在全面捕捉信号的多尺度特性并有效建模时间序列。实验结果表明:文中所提模型在0 dB以上的识别准确率达到了97.1%,在13 dB时更进一步提升至99%;与经典的CNN2模型和LSTM2模型相比,在识别准确率上展现了显著优势,且相较于识别性能接近的CLDNN2模型,参数量减少了47.7%,训练时间缩短了68%;尤其是QAM16和QAM64两种调制样式识别准确率显著上升并且保持较高水平,这也进一步证实了模型多尺度特征融合策略的有效性。

基于多尺度特征提取与融合的单幅图像去雾算法

为解决随着CNN网络层数加深而导致的学习成本过高或过拟合问题,提出了一种基于多尺度特征提取与融合的单幅图像去雾算法。该算法结合U-Net思想,对输入图像进行物理分割和下采样得到多个尺度的特征图,采用残差连接的方式进行多维度融合,可以更好的适配大尺度数据集。同时,在网络中加入了深度监督模块,引入额外的监督信号有助于梯度传播,加快收敛速度,保证了训练的稳定性,这种多任务的学习形式提高了网络对不同输入的适应性,可以增强去雾效果。此外,使用自带多维度天气系统渲染的3D游戏引擎,自建了一份大尺度全高清数据集,模型训练的鲁棒性和泛化能力得到显著提升。实验结果表明,所提算法在训练速度和模型大小控制上具有一定优势,在主观评价上,远景去雾效果明显,峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性(Structure Similarity, SSIM)两个客观评价指标分别为26.75 dB和0.907,相较于对比算法中性能第二的模型分别提高了3.5和5.9个百分点,加入自建数据集进行组合训练后进一步提升了模型的去雾性能。

注意力机制与自适应尺度融合的场景文本检测

在场景文本检测任务中,由于图像背景复杂、文本实例尺度不一等问题,导致现有模型的文本检测精度不高。为此,本文设计了一种基于注意力机制与自适应尺度融合的场景文本检测模型。首先,通过引入高效通道注意力机制,提高了特征提取网络的表征能力,降低了文字的漏检率和误报率;其次,通过设计自适应尺度融合模块,动态融合不同尺度特征,增强了模型对不同尺度文本实例的检测和定位能力。实验结果表明,本文提出的模型在Total-Text和MSRATD500共2个数据集上的F综合指标分别达到85.1%和84.1%,在同类型算法中处于领先水平。