多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

基于格拉姆角场和多尺度残差神经网络的地震事件分类方法

以江苏地震台网中心搜集并标注的天然地震、人工爆破和塌陷事件为试验数据样本,提出了一种基于格拉姆角场和多尺度残差神经网络的新的地震事件分类方法。首先对波形数据进行滤波、归一化等预处理,然后应用格拉姆角场对地震波形数据进行二维编码得到二维图像,再将此经过编码后的图像作为多尺度残差神经网络的输入进行分类模型的训练和测试,从而得出分类结果。采用上述方法对1078个天然地震台站记录、981个爆破台站记录和830个塌陷台站记录进行试验,结果显示:最终以单条波形为单位的地震事件分类准确率为92.55%,以单个台站为单位的分类准确率为96.36%,这表明基于格拉姆角场和多尺度残差神经网络的地震分类方法具有良好的效果。

基于深度卷积自编码器和多尺度残差收缩网络的滚动轴承寿命状态识别

针对滚动轴承早期故障识别困难、退化性能难以准确评估的问题,提出了基于深度卷积自编码器(DCAE)和多尺度残差收缩网络(MSRSN)的滚动轴承寿命状态识别方法。首先,为获得清晰的故障特征频率及倍频,将原始数据样本转换为包络谱输入深度卷积自编码器中,实现轴承寿命状态特征的自动提取与表达,并基于多维尺度分析(MDS)算法约简寿命状态特征获得低维特征,然后计算低维特征空间内样本间的欧几里得距离(ED),即为轴承性能衰退评估指标;其次,为全面提取轴承性能衰退特征,提出了改进的多尺度残差收缩网络识别模型,并开发了ReLU与DropBlock正则化相结合的新激活策略增强模型的抗噪性;最后,将所提方法及对比方法应用于轴承全寿命实验数据。实验结果表明:笔者提出的性能衰退评估指标能够精准地识别轴承性能退化起始点以及刻画轴承的退化趋势,所提出的改进的多尺度残差收缩网络识别模型在S SNR=-4~6 dB环境中平均识别正确率为91.75%,能够准确识别轴承寿命状态,验证了方法的实用性以及有效性。

基于双分支多尺度残差融合嵌套的SAR和多光谱图像融合架构与实验

基于深度学习融合合成孔径雷达(SAR)和多光谱(MS)图像的方法主要通过增加卷积层数量描述网络模型尺度,但未能提高算法对不同尺度空间细节特征的提取能力。该文设计双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net,DMRN-Net),将融合任务划分为细节提升和光谱保持两部分:在细节提升分路中,将SAR和MS图像中的高频信息分别经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器得到重建图像;在光谱保持分路中,通过融合上采样后的MS图像和细节提升分路结果,将光谱信息注入融合图像中,从而得出融合结果。通过DMRN-Net和传统算法以及普通双分支网络的对比实验表明,DMRN-Net在主观判断和客观评价上均取得较好的融合结果,能在保持光谱信息的基础上,进一步增加图像的空间细节信息,验证了DMRN-Net在图像融合领域的重要价值。

基于多尺度残差网络的MRI脑肿瘤分类

目的研究和搭建人工智能深度学习网络,在两个公开的大脑MRI图像数据集上实现高准确率的MRI脑肿瘤的四分类。材料与方法提出一种多尺度残差网络的MRI脑肿瘤分类模型,实现脑肿瘤的四分类任务。模型包括多尺度输入、改进残差、下采样和双通道池化共四个模块。将Kaggle中正常人和Figshare中肿瘤患者的脑部MRI图像进行数据集组合,对提出的模型进行训练和性能评估,优化网络超参数,提高分类准确率。结果在352张MRI图像上测试模型,仅使用多尺度输入模块时,得到平均分类准确率为96.59%。添加下采样模块后,准确率达到98.58%。对比最大池化、均值池化和双通道池化,准确率分别为96.02%、97.16%、98.58%。多尺度残差网络对脑肿瘤具有很好的分类效果,对胶质瘤、脑膜瘤、垂体瘤和正常无肿瘤图像的分类准确率分别为99.14%、99.14%、99.42%和99.42%。结论MRI是一种典型的检查脑肿瘤的医学成像方法,但放射科专家手工对脑肿瘤进行准确分类极具主观性和不确定性。提出的多尺度残差网络能为脑肿瘤自动分类提供有效的方法,且该网络提高了MRI脑肿瘤分类的准确率,很好地解决了梯度消失问题,提升了模型的泛化能力。

基于多尺度残差的数字图像超分辨率重建算法

针对目前数字图像采集传输过程中因受环境干扰出现低像素的图像,导致图像重建效果较差的问题,提出了基于多尺度残差的数字图像超分辨率重建算法。首先,采用双边滤波算法完成数字图像的去雾处理;其次,分类数字图像的亮度特征信息和色彩信息,采用距离阈值去噪方法分别对其进行去噪处理;并且设置多个尺寸的卷积核,将其引入图像特征提取过程中,获取数字图像特征,对其展开反向投影操作,在残差学习思想的基础上连接升采样和降采样过程提取的特征,实现数字图像超分辨率重建。实验结果表明,所提算法对图像重建的结构相似度高、峰值信噪比(PSNR:Peak Signal-to-Noise Ratio)高、重建效果好。

基于改进多尺度残差网络的行人检测方法

针对行人检测的尺度变化问题,提出一种基于改进多尺度残差网络无锚检测算法(IMSNet)。将Res2Net残差模块中多尺度特征提取融入ResNeXt,将改进后的网络作为主干网络(Res2NeXt*),使主干网络包含不同数量、不同组合的感受野;利用多个较小卷积核等效替代单个较大卷积核,增加网络深度并减少网络参数量;对细化的多尺度卷积特征级联融合做卷积运算,将行人检测简化为中心点和尺度预测任务。实验结果表明,IMSNet对CityPersons和Caltech数据集Reasonable设置分别实现了10.6%和2.6%的平均漏检率,检测每张图像仅需0.28 s。

基于多尺度残差空间注意力轻量化U-Net的农业害虫检测方法

田间害虫的快速精准检测是作物害虫防治的前提。现有基于卷积神经网络的作物害虫检测方法常包含大量训练参数,难以应用于现实场景中。针对上述难点,提出1种基于多尺度残差空间注意力轻量化U-Net(Multi-scale residual spatial attention lightweight U-Net,简称MSRSALU-Net)的检测方法,并应用于田间害虫检测。MSRSALU-Net由编码模块与解码模块组成。在MSRSALU-Net编码模块中,多尺度残差卷积模块用于提取害虫多尺度信息以缓解害虫尺度变化对检测性能的影响;空间注意力机制模块用于提取特征的全局依赖以缓解复杂背景对检测性能的干扰。此外,使用残差连接路径模块连接MSRSALU-Net的编码模块与解码模块,以更好地传播特征信息。在构建的IP13数据库上进行试验,基于MSRSALU-Net的害虫检测方法的识别精度为95.11%。与基于UNet、注意力UNet、MultiResUNet的害虫检测方法相比,MSRSALU-Net检测精度分别提高11.85%、5.38%、2.41%。模型参数量与U-Net、注意力UNet、MultiResUNet相比,分别减少了25.81%、21.45%、18.39%。结果表明,提出的MSRSALU-Net能有效克服害虫尺度变化、背景复杂等因素干扰,实现害虫的快速精准识别。该方法可为田间作物害虫检测系统提供技术支撑。

基于多尺度残差双域注意力网络的乳腺动态对比度增强磁共振成像肿瘤分割方法

针对乳腺肿瘤大小形态多变、边界模糊以及前景与背景间严重类不平衡的问题,该文提出一种多尺度残差双域注意力融合网络。该网络以多尺度卷积构成的多尺度残差块作为基本搭建模块,通过提取多尺度特征和优化梯度传播通道提高其识别不同尺寸目标的能力,同时融入双域注意力单元,提高网络的边缘识别和边界保持能力。另外该文提出一种混合自适应权重损失函数改善网络优化方向,缓解正负样本极度不均衡的影响。实验结果表明,该文所提方法的平均骰子相似系数(Dice)值达到0.8063,较U形网络(UNet)提高5.3%,参数量下降73.36%,具有更优的分割性能。

基于多尺度残差子域适应的轴承故障诊断方法

针对不同工况下轴承监测数据分布差异性大且带有标签数据稀缺的问题,提出一种基于多尺度残差子域适应的轴承故障诊断方法。首先,构建多尺度残差网络,提取源域与目标域的可迁移特征;其次,通过局部中心距差异对齐源域和目标域中同一类别的相关子域分布;最后,将局部中心距差异和分类器损失作为目标优化函数,完成模型训练,实现目标域数据的状态识别,并通过实验表明,该方法在目标域数据无标签的情况下准确率可以达到98%以上,满足工程应用的实际需求。

基于多尺度残差网络的域适应轴承故障识别方法

不同工况下的故障轴承原始振动信号存在分布差异较大的问题,在进行故障诊断时也会存在特征提取不充分,从而导致故障诊断模型诊断精度较低的问题,为此,提出了一种基于多尺度残差网络的对数相关对齐(logCORAL-MsRN)的域适应轴承故障识别方法(模型)。首先,对轴承原始振动信号进行了预处理,将其转换为二维灰度图像;然后,使用多尺度残差块和空洞卷积对残差神经网络ResNet50的网络结构进行了改进,设计了一种多尺度残差网络(MsRN),以充分提取轴承的故障特征,避免深层网络结构的梯度消失问题;提出了一种对数相关对齐(logCORAL)域适应方法,更好地进行了域间分布对齐;最后,采用交叉熵损失和logCORAL损失作为目标优化函数,对上述模型(方法)进行了训练,在美国凯斯西储大学(CWRU)公开数据集上进行了变工况下的对比实验和消融实验。研究结果表明:logCORAL-MsRN方法在变工况条件下的轴承故障诊断的平均准确率高达96.53%,并且优于其他对比方法,即特征提取网络MsRN可以提取出不同尺度的、更加丰富的轴承故障信息,域适应方法logCORAL可以有效地对齐源域和目标域之间的特征分布,验证了该方法的有效性及优越性。

一种融合多尺度残差和门控卷积的图像修复算法

为了克服图像修复中出现的边缘模糊和视觉伪影问题,该文提出一种融合多尺度残差和门控卷积的图像修复算法。该算法模型由边缘生成网络和纹理修补网络组成。首先,通过多层卷积和多尺度残差块提取出图像边缘信息,对受损区域的边缘进行补全;然后,将生成的边缘图像作为结构性先验知识,并利用门控卷积来消除无效像素对掩码更新的干扰,实现局部纹理的精细填充。在Places2和CelebA基准数据集上的实验结果表明,该算法在各项评价指标上均优于现有主流算法,其PSNR提高了2.1%~2.6%,SSIM提高了1.6%~2.3%,L1损失降低了6.5%~9.9%。

基于多尺度残差注意力网络的全色锐化方法

针对传统深度学习的遥感图像全色锐化方法未考虑源图像多尺度方向信息和通道间的关联紧密性,导致融合图像出现空间信息丢失和光谱失真问题,提出了一种基于多尺度残差注意力网络的遥感图像全色锐化方法。将低空间分辨率多光谱(low-resolution multi-spectral, LRMS)图像经过双三次插值上采样与高空间分辨率全色(panchromatic, PAN)图像级联,得到一个5通道图像作为输入;设计3个并行的多尺度残差注意力网络从空间和通道两方面提取源图像不同频度的特征,每个子网络包含浅层特征提取、深层特征提取、特征融合、特征重建过程,将三者的输出进行跳连接获得最终融合图像,将光谱角映射、平均绝对误差和几何梯度权重相加作为一种新的损失函数来训练参数,以提高网络的信息表征能力;选择在WorldView-2和WorldView-3数据集上与其他7种融合方法进行对比实验,并在WorldView-3数据集上对模型的网络结构及损失函数性能进行验证,实验结果表明:该方法在光谱信息和空间信息保持方面具有明显优势。

基于空间多尺度残差网络的红外与可见光图像融合

针对如何充分提取和融合红外与可见光图像典型特征的问题,提出一种基于空间多尺度残差网络的图像融合算法。首先,将源图像输入基于空间多尺度残差模块组成的编码器网络,通过源图像重建任务,训练编码器自动获取重要特征信息的能力;然后,引入特征金字塔结构,设计了特征通道自注意力机制,编码器输出的基础层和细节层进行融合,减小尺度噪声,并由解码器重构出融合图像;最后,利用公开数据集进行定性和定量实验,证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势,相比于DDcGAN算法,新算法的标准差和平均梯度分别提升了12.91%和47.41%。

基于多尺度残差融合网络的高光谱图像融合算法

针对高光谱图像空间分辨率低的问题,提出了一种基于多尺度残差融合网络的高光谱图像融合算法。该算法采用多尺度特征提取机制和多级尺度融合机制,将同一目标的低分辨率高光谱图像(LR-HSI)与高分辨率多光谱图像(HR-MSI)融合,得到高分辨率高光谱图像(HR-HSI)。实验证明,论文所提出的方法在CAVE和Harvard这两个数据集上峰值信噪比分别达到了39.8504和42.9646,光谱角映射分别达到了0.0685和0.1585,比其他几种方法均有一定的提升。该算法避免了传统融合方法人为制定融合规则的缺点,在极大程度上降低光谱失真的同时提升高光谱图像的空间分辨率,具有很好的应用前景。

基于多尺度残差网络的运动模糊复原方法

针对运动模糊图像复原过程中,由于运动带来的模糊程度,以及模糊方向不一致等因素,导致图像复原效果不佳的问题,提出了基于多尺度残差网络的运动模糊复原方法。基于深度卷积神经网络的方法,利用模糊尺度评价因子进行模糊等级划分,提取多尺度残差块的图像特征,进行图像模糊去除。在Tensorflow框架下搭建网络结构,采用GOPRO和K?hler数据集进行算法验证,实验结果表明,在峰值信噪比(PSNR)指标相较于同类算法分别提高了6.4%和5.3%。

融合空间信息的多尺度残差卷积开关柜异物检测算法研究

检查开关柜中有无异物以确保设备安全运行是配网建设的基本任务。针对开关柜中背景复杂且目标遮挡严重的问题,文章提出一种融合空间信息的多尺度残差卷积检测算法。首先,利用多尺度残差卷积,降低目标遮挡导致特征提取不全的影响,再设置残差连接解决过拟合问题;然后,在深层特征图间增加改进的注意力机制,降低网络过深导致细节信息丢失影响,提高检测效果。最后,搭建自制开关柜异物数据集实验平台,实验结果表明,改进模型检测速度下降11FPS(frames per second),为72FPS,平均精度AP50为91.26%,AP@50:5:95为76.04%,分别提高2.59%和3.69%。并在输电线路异物与缺陷绝缘子数据集验证普适性算法,实验结果表明,改进模型检测精度均高于原始模型。

多尺度残差网络模型的研究及其应用

针对传统的卷积神经网络不能充分利用图像的多尺度信息,以及网络层数的增加导致优化参数增加的问题。提出多尺度残差网络模型通过多尺度跨通道的卷积融合提高图像的特征表征能力;然后把大的卷积核分解成小的非对称卷积核降低网络的参数计算;接着利用残差网络原理来降低深层网络的梯度消失问题;最后将提出的多尺度卷积模块嵌入到Lenet网络中。在Mnist数据集上的测试结果证明分类准确率比原始Lenet网络提高了0. 24%,在LFW数据集上的测试结果表明分类准确率优于Deep Face、Web Face等传统算法。

基于超像素与多尺度残差U⁃Net相结合的遥感图像飞机检测方法

遥感图像中存在飞机很小、角度和位置不确定且背景复杂等问题,从遥感图像中检测飞机是一项重要且具有挑战性的任务,因此,提出一种基于超像素与多尺度残差U⁃Net(Multi⁃scale Residual U⁃Net,MSRU⁃Net)相结合的遥感图像飞机检测方法。首先对遥感图像进行超像素预分割,将位置相邻且像素特征相似的像素点组成若干个超像素,保持图像进一步分割的有效特征;然后构建多尺度残差U⁃Net,学习其多尺度判别特征。与传统的飞机检测方法相比,该方法用少量的超像素代替大量像素表达图像特征,降低了图像分割的复杂度,再利用MSRU⁃Net分割遥感超像素图像,有效检测不同尺度的飞机图像。在公共飞机遥感图像数据集上实验,结果表明,该方法能够有效的检测遥感图像不同尺度的飞机图像,检测精确率达到91.2%。

基于多尺度残差网络的单应估计方法

单应估计是许多计算机视觉任务中一个基础且重要的步骤。传统单应估计方法基于特征点匹配,难以在弱纹理图像中工作。深度学习已经应用于单应估计以提高其鲁棒性,但现有方法均未考虑到由于物体尺度差异导致的多尺度问题,所以精度受限。针对上述问题,提出了一种用于单应估计的多尺度残差网络。该网络能够提取图像的多尺度特征信息,并使用多尺度特征融合模块对特征进行有效融合,此外还通过估计四角点归一化偏移进一步降低了网络优化难度。实验表明,在MS-COCO数据集上,该方法平均角点误差仅为0.788个像素,达到了亚像素级的精度,并且在99%情况下能够保持较高的精度。由于综合利用了多尺度特征信息且更容易优化,该方法精度显著提高,并具有更强的鲁棒性。