联合深度超参数卷积和交叉关联注意力的大位移光流估计

针对现有深度学习光流估计模型在大位移场景下的准确性和鲁棒性问题,提出了一种联合深度超参数卷积和交叉关联注意力的图像序列光流估计方法.首先,通过联合深层卷积和标准卷积构建深度超参数卷积以替代普通卷积,提取更多特征并加快光流估计网络训练的收敛速度,在不增加网络推理量的前提下提高光流估计的准确性;然后,设计基于交叉关联注意力的特征提取编码网络,通过叠加注意力层数获得更大的感受野,以提取多尺度长距离上下文特征信息,增强大位移场景下光流估计的鲁棒性;最后,采用金字塔残差迭代模型构建联合深度超参数卷积和交叉关联注意力的光流估计网络,提升光流估计的整体性能.分别采用MPI-Sintel和KITTI测试图像集对本文方法和现有代表性光流估计方法进行综合对比分析,实验结果表明本文方法取得了较好的光流估计性能,尤其在大位移场景下具有更好的估计准确性与鲁棒性.

面向深度分类模型超参数自优化的代理模型

为进一步提高深度分类模型超参数多目标自适应寻优效率,提出一种筛选式增强Dropout代理(FEDA)模型。首先,构建点对互信息约束增强的双通道Dropout神经网络,增强对高维超参数深度分类模型的拟合,并结合聚集选解策略加速候选解集的选取;其次,设计一种结合模型管理策略的算法FEDA-ARMOEA(FEDA model-A novel preference-based dominance Relation for Multi-Objective Evolutionary Algorithm)均衡种群个体的收敛性和多样性,协助FEDA提高深度分类模型训练及超参数自优化效率。将FEDA-ARMOEA与EDN-ARMOEA(Efficient Dropout neural Network-assisted AR-MOEA)、HeE-MOEA(Heterogeneous Ensemble-based infill criterion for Multi-Objective Evolutionary Algorithm)等算法进行对比实验,实验结果表明,FEDA-ARMOEA在56组测试问题中的41组上表现较好。在工业应用焊缝数据集MTF和公共数据集CIFAR-10上实验,FEDA-ARMOEA优化的分类模型的精度分别达到96.16%和93.79%,训练时间相较于对比算法分别降低6.94%~47.04%和4.44%~39.07%,均优于对比算法,验证了所提算法的有效性和泛化性。

融合注意力机制和深度超参数化卷积的遥感影像桥梁目标检测算法

深度学习技术发展迅速,应用深度学习技术进行遥感影像快速自动化处理使得遥感技术现代化成为可能。针对现有目标检测算法对遥感影像桥梁目标检测精度较差的缺陷,本文以YOLOv4算法为基础,通过嵌入注意力机制模块以及替换传统卷积层为深度超参数化卷积来加强算法的特征提取能力,从而提升算法检测精度,并设计实验进行对比验证。实验结果表明:本文提出的算法在不显著增加算法训练成本的前提下,使高分桥梁数据集的AP提高至80.4%,DOTA桥梁数据集的AP提高至67.2%,有效证明了本文改进算法的有效性。

基于重参数化的超分辨率重建

针对现有单图像超分辨率重建(Single Image Super-resolution,SISR)模型存在速度和精度的矛盾,论文给出了一种重参数化(Re-parameterization)的轻量模型用于实现图像重建。该模型训练时通过使用结构较复杂的模型保证精度,推理时通过模型等效变换为简单的卷积以提高速度。同时多监督结构的加入让模型收敛更快且更为灵活。通过峰值信噪比和结构相似度对重建模型的质量和效率进行了评估。验证了所提模型在现有超分辨率重建方法中兼具了轻量和重建质量良好的优点。

基于深度学习的翼型参数化建模方法

为解决现有翼型几何参数化描述方法优化设计效率低、计算工作量大的问题,提出了一种基于深度学习的翼型参数化建模方法。该方法以伊利诺伊大学厄巴纳-香槟分校(University of Illinois at Urbana-Champaign,UIUC)翼型数据库中翼型上下表面坐标点转化的翼型二维图像作为输入,首先使用卷积运算提取大量翼型图像的几何特征,然后通过多层感知机对提取的几何特征进行分类和压缩,将翼型形状压缩成若干个简化的拟合参数,最后通过解码器恢复翼型图像并输出翼型上下表面的点坐标。在此基础上,探讨了拟合参数数量对翼型几何精度的影响,确定了含6个拟合参数的卷积神经网络(convolutional neural network,CNN)结构,并基于计算流体力学数值仿真验证了所提出方法的拟合精度。最后,开发了可视化翼型几何设计软件,实现了拟合参数的调整与修正,并分析了各拟合参数对翼型形状的影响规律。结果表明,6个拟合参数均会对翼型形状产生全局影响,单独或联合调整6个拟合参数可获得新的翼型设计空间。研究结果可为翼型的优化设计提供技术支持与理论参考。

基于结构重参数化的遥感影像超分轻量化重建方法

遥感影像成像过程中各种因素导致获取的影像分辨率较低进而难以达到预期观测效果,需要借助超分辨率重建技术实现质量增强。然而,大多数遥感影像超分辨率重建算法集中于提升超分网络模型的性能,忽略推理速度对超分辨率重建算法同样重要。文章设计了一种基于结构重参数化的遥感影像超分轻量化重建方法,在推理时通过参数等价转换减少模型参数和浮点运算数,从而实现更快的推理速度。采用AID与NWPU-RESISC45遥感数据集进行实验,根据典型评估指标峰值信噪比和结构相似性,将本文提出的ECBASR方法与经典的超分重建方法进行对比。实验结果表明,ECBASR取得了良好的重建性能,大幅减少了运行占用内存,加快了推理速度。

基于重参数化的注意力机制算法

为提高注意力机制对深度神经网络准确率的提升效果,提出一种重参数化通道注意力模块(RCAM)。鉴于挤压激励网络的通道压缩方法对网络精度存在较大误差,故提出一种基于重参数化技术的通道重参数化模块,将此模块与注意力机制进行有效结合;按集成策略消融实验所获得的结果,将此注意力模块放置进主干网络中。实验结果表明,在公共数据集CIFAR-100和ImageNet-100,主干网络为RepVGG_A0、ResNet-18时,其准确率分别较未添加注意力机制的网络提升了2.37%和1.72%,1.61%和0.71%,将结果与其它注意力机制进行比较,验证了基于重参数化的注意力机制对主干网络的提升远优于其它方法。

重参数化YOLOv5s的森林火灾检测算法

目前森林火灾多发,建立日常监测尤为重要,但是边缘智能检测设备算力和内存较低,限制了检测模型的推理和部署。针对以上问题,提出一种改进的重参数化YOLOv5s的森林火灾检测算法,结合重参数化、通道重排和深度可分离卷积(Depthwise Separable Convolution,DSC)等轻量化思想分别设计新的骨干和颈部网络,增强特征提取能力,提高模型检测精度,使参数量和推理权重较大幅度减少。为避免颈部网络的信息丢失,根据空洞卷积提出特征增强模块,增强多尺度特征融合能力。为进一步提高模型性能,加入轻量化的CA注意力机制,更准确定位目标。当前公开的火焰烟雾数据集存在针对性不强的问题,为了更好地提高模型的检测效率,制作了一个新的森林火灾数据集,在数据集上利用结构相似性算法剔除了相似度过高的图片,保证了模型的泛化能力。实验结果表明,改进后的重参数化YOLOv5s以原网络约76%的参数量提高了4.0%的精确度,推理权重下降至10.5 MB,更适合于设备性能差、容量小的边缘设备,提高了森林火灾巡检的效率。

基于结构重参数化的抗遮挡光场深度估计网络

针对光场深度估计网络结构中运算时间较长的问题,设计了一种能够被重参数化的多分支串联残差块结构(Res-DBLB),加快了网络运算速度,同时引入复合卷积块(RepConv)和卷积注意力模块(CBAM),优化网络性能.对于复杂的遮挡场景,利用深度图生成遮挡掩码,计算遮挡感知成本的构造函数,消除遮挡的负面影响.实验结果表明:与传统方法相比,该算法的均方误差和坏像素率更低,推理速度更快,同时在复杂遮挡场景中表现出较高的稳健性.

基于深度过参数化卷积的路面病害分割研究

道路精准养护关键是精确发现并解决影响车辆驾驶的道路问题,有效缩短道路病害工作闭环时间.针对道路养护中路面病害分割实时性与准确性,提出一种基于深度过参数化卷积的路面病害分割网络.首先,利用Focus模块与2层3×3卷积的切片操作替换了网络特征压缩结构,以减小图像信息丢失.其次,通过替换ResNet50卷积模块中的传统卷积为深度过参数化卷积,提升网络收敛速度,并引入卷积块状注意力机制增强特征提取网络对图像信息的聚焦能力.最后,组合原型网络与预测头网络分别生成的原型掩膜与预测框掩膜系数,完成路面病害分割.路面病害分割实验在公开数据集和自制数据集下进行,分割平均精度AP_(all)分别为21.59%和31.43%,分割速度分别为31.33帧/s和30.52帧/s.实验结果表明改进后模型能够实现路面病害分割的实时性与高精准性.

基于多分支卷积重参数化的超分辨算法设计与实现

基于深度学习的超分辨算法研究发展迅速,所采用的模型主要由深度卷积神经网络组成。为了提升超分辨算法的性能,目前的做法主要是堆叠多层基本卷积神经网络或是设计足够复杂的网络结构来提升模型的表征能力。但这也导致模型的训练周期长,设计复杂度高,得到的模型参数量大,模型部署在实际终端中推理速度慢。因此,本文提出了基于多分支卷积重参数化算法,将系统的训练模型和部署模型进行分离,系统训练模型保证了经过训练后的模型强大表征能力,推理时依据训练模型中主干网络的特点进行合并、等价转换成单路部署模型,减少了模型的参数量,提高了模型的推理速度。通过仿真实验对比,本文提出的模型与现有模型如RRDB网络相比,在保证图像质量的同时,参数量下降了79.96%,推理时间减少了39.96%,推理速度得到了很大提升,是一种适合于部署在实际环境中终端的模型。

在役混凝土结构碳化深度的贝叶斯随机模型

由于混凝土碳化过程的随机性,现有的碳化深度预测模型难以表征在役混凝土结构的实际碳化状况。为此,将已有碳化随机模型与现役混凝土结构碳化深度的实测信息相结合,提出一种碳化总体样本均值与方差均未知情况下的先验分布超参数的计算方法;并利用贝叶斯理论对碳化速度系数进行更新,研究了针对在役混凝土结构碳化深度的贝叶斯随机模型。以燕山水库溢洪道闸墩等结构的实测混凝土碳化深度为例进行分析,结果表明碳化深度的贝叶斯随机模型能更好地表征在役混凝土结构的实际碳化状况。

基于超参数优化和双重注意力机制的超短期风电功率预测

高精度的风电功率预测在电力系统的安全稳定运行和能源系统的优化配置中至关重要。为了从多维风电历史数据中提取隐藏信息,准确选择与预测目标高度相关的高维特征,克服时间序列的短时记忆问题,提出了一种以卷积神经网络-双向长短时记忆网络(convolutional neural network and bidirectional long short term memory network,CNN-BiLSTM)为基础模型,结合双重注意力机制和贝叶斯优化算法的风电功率超短期预测模型。首先,为了自主挖掘输入特征与风电功率之间的数据关联,进一步突出重要特征影响,在常规的CNN架构上增加注意力机制,构建特征注意力模块;然后在BiLSTM网络输出端引入注意力机制形成时间注意力模块,增强BiLSTM网络的长时记忆能力,加强重要历史信息的影响;最后,采用贝叶斯优化算法优化所提模型的超参数,选取最优超参数,发挥模型最佳性能。以中国西北某风电场实际数据进行验证,模型的单步预测精度达到95.58%。多步预测结合数值天气预报信息实现4 h前超短期预测,其精度达到90.44%。实验结果表明所提基于超参数优化和双重注意力机制的预测模型相比其他模型具有更高的预测精度。

超参数对GRU-CNN混合深度学习弹性阻抗反演影响研究

CNN-GRU混合深度学习反演弹性阻抗取得了较好的反演效果。但是,基于深度学习的叠前反演参数众多,包括内部深度学习网络可学习参数和外部超参数等,目前超参数选取对网络性能及计算速度影响尚缺乏系统性研究,这直接影响到了该方法的进一步推广应用。因此,本文在混合深度学习反演弹性阻抗基础上,探讨学习率、Epoch、batch_size、正则化参数及参与网络训练的测井个数等5个超参数对网络性能及计算速度的影响,为深度学习地震反演超参数选取提供依据。研究结果可为三维大面积深度学习反演提供一个可行的质控手段,对于推动深度学习方法在石油物探中广泛应用具有一定意义。

基于卷积神经网络的滚动轴承故障诊断研究综述

随着机器学习技术的兴起,深度学习被用于故障诊断领域并得到迅速发展,其中,卷积神经网络是具有出色特征提取能力的深度学习模型,因其适用于处理图像数据和高维数据而成为故障诊断研究的热点。针对传统故障诊断方法难以解决轴承振动信号存在的特征提取困难和信号噪声污染的问题,为高效、准确地完成滚动轴承故障诊断工作,首先,对卷积神经网络的结构进行了简单介绍,并研究了近年来经典卷积神经网络模型用于滚动轴承故障诊断的重要进展;然后,从深度特征提取、超参数调整和网络结构优化等角度,对各种优化卷积神经网络的方法原理进行了简单介绍,详细探讨了将卷积神经网络应用于滚动轴承故障诊断的优化途径和已经取得的研究进展;最后,对几种典型优化方法的优势与不足进行了比较,并对不同角度优化卷积神经网络的途径进行了总结。研究结果表明:基于卷积神经网络的滚动轴承故障诊断方法还需要解决数据不平衡、模型特征提取能力不足和泛化性不强的问题,后续研究工作应聚焦于多源数据融合、模型性能优化以及多方技术结合等方向。

基于语音与人脸参数化表示的跨模态稠密深度网络学习方法

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。

结合结构自相似性和卷积网络的单幅图像超分辨率

针对单幅图像超分辨率(SR)复原病态逆问题,在重建过程边缘细节丢失导致的模糊,提出一种结合结构自相似和卷积网络的单幅图像超分辨率算法。首先,通过将尺度分解获得待重构图片样本的自身结构相似性,结合外部数据库样本结合作为训练样本,可以解决样本过于分散的问题;其次,将样本输入卷积神经网络(CNN)进行训练学习,得到单幅图像超分辨率的先验知识;然后,利用非局部约束项自适应选择最优字典重建图像;最后,利用迭代反投影算法对图像超分辨率效果进一步提升。实验结果表明,与双三次插值(Bicubic)方法、K-SVD算法和基于卷积神经网络的图像超分辨率(SRCNN)方法等优秀算法相比,所提算法可以得到边缘更为清晰的超分辨率重建效果。

基于卷积神经网络的5G无线信道参数学习方法

深度学习是解决5G无线信道建模中参数学习问题的有效手段,但学习网络的超参数选择对网络性能的影响较大,而常规的手动调参方法往往难以达到令人满意的学习效果,为此提出一种基于卷积神经网络(CNN)的5G无线信道参数学习方法,其中CNN网络超参数采用贝叶斯优化进行自动设置。利用仿真软件Wireless InSite建立了5G无线通信室外场景数据集,针对不同信道参数设计了相应的卷积神经网络,通过实验对比分析了贝叶斯自动寻优和手动调整超参数的学习效果,结果表明本文方法优势明显。

基于卷积神经网络的超分辨率重建

分析超分辨率重建中基于卷积神经网络与基于稀疏表示方法的联系,讨论网络卷积核的作用,以及不同网络参数对重建效果的影响,设计一个权衡重建质量和结构复杂度的超分辨率重建卷积神经网络模型。实现低分辨率图像到高分辨率图像的映射,整个网络训练过程是端到端学习,具有全局优化的特点,避免基于稀疏表示方法的复杂特征提取和数据重组的操作,实验结果表明,该方法重建的图像质量在视觉效果和参数评价指标上有较大提高。

深度学习优化算法研究

深度学习是机器学习领域热门的研究方向,深度学习中的训练和优化算法也受到了较高的关注和研究,已成为人工智能发展的重要推动力。基于卷积神经网络的基本结构,介绍了网络训练中激活函数和网络结构的选择、超参数的设置和优化算法,分析了各算法的优劣,并以Cifar-10数据集为训练样本进行了验证。实验结果表明,合适的训练方式和优化算法能够有效提高网络的准确性和收敛性。最后,在实际输电线图像识别中对最优算法进行了应用并取得了良好的效果。