基于增强型多尺度残差生成对抗网络的图像压缩

为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

增强型多尺度残差网络的图像超分辨率重建算法

现有的图像超分辨率重建算法大多具有极深的网络结构导致参数量过大,并且不能充分提取特征。为了解决以上问题,提出了一种基于增强型多尺度残差网络(EMSRN)的图像超分辨率重建算法。该网络主要由多个增强型多尺度残差块(EMSRB)组成,通过使用残差块和并行的多空洞率的空洞卷积组构建该模块的骨干结构,获取了图像的局部和全局多尺度特征的同时有效减小了网络参数量。在模块最后使用通道注意力机制自适应地对提取到的特征进行加权,使网络更多地关注高频信息。实验结果表明,比起基础的多尺度残差网络,所提算法将峰值信噪比(PSNR)提升了0.53 dB,结构相似性(SSIM)达到了0.9782。相比于增强型深度超分辨率网络,参数量仅为其31.7%,却取得了近似的重建表现。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

基于递归图和增强残差网络的轴承故障诊断

针对噪声干扰情况下轴承振动信号特征难以充分提取,故障识别精度低的问题,提出将递归图与增强深度残差网络相结合的RP-EResNet模型并应用于轴承故障诊断。将非线性的振动信号嵌入到具有可变时滞的延迟坐标空间中生成二维的递归图,并将压缩-激励模块、多尺度卷积、分组卷积网络模块融合到残差网络结构中得到增强的RP-EResNet模型,最终将递归图输入RP-EResNet模型中进行轴承故障诊断。使用不同的轴承数据集验证了RP-EResNet模型的性能,消融试验和对比试验的结果表明:与不同的深度学习方法相比,RP-EResNet模型能够在强噪声下增强特征提取能力,提升轴承故障的识别精度,具有良好的泛化性能和抗噪性能。

基于多尺度耦合的密集残差网络红外图像增强

为了提升非制冷红外热像仪的图像质量,满足低对比度弱小区域的观瞄与锁定的需求,提出了一种基于多尺度密集残差网络的红外图像超分辨重建模型,该模型的基本框架是通过级联多个残差特征进行学习,以粗到细的方式重建高分辨率图像。首先提出一种多尺度跨域融合模块,通过对不同感受野的分支结果进行融合,不仅可以融合不同感受野的互补信息,还可有助于提升梯度收敛和特征传输;然后叠加多个跨域融合模块,并采用残差特征学习进行优化,最终学习出高分辨率细节信息。仿真实验结果表明,所提出的超分辨模型能够较好的超分辨重建效果,在微弱结构保持和点目标保持上的性能也更加突出。所提的模型已经在海思嵌入式深度学习平台上实现了高质量的红外增强,具有较高的工程应用价值。

基于格拉姆角场和多尺度残差神经网络的地震事件分类方法

以江苏地震台网中心搜集并标注的天然地震、人工爆破和塌陷事件为试验数据样本,提出了一种基于格拉姆角场和多尺度残差神经网络的新的地震事件分类方法。首先对波形数据进行滤波、归一化等预处理,然后应用格拉姆角场对地震波形数据进行二维编码得到二维图像,再将此经过编码后的图像作为多尺度残差神经网络的输入进行分类模型的训练和测试,从而得出分类结果。采用上述方法对1078个天然地震台站记录、981个爆破台站记录和830个塌陷台站记录进行试验,结果显示:最终以单条波形为单位的地震事件分类准确率为92.55%,以单个台站为单位的分类准确率为96.36%,这表明基于格拉姆角场和多尺度残差神经网络的地震分类方法具有良好的效果。

基于深度卷积自编码器和多尺度残差收缩网络的滚动轴承寿命状态识别

针对滚动轴承早期故障识别困难、退化性能难以准确评估的问题,提出了基于深度卷积自编码器(DCAE)和多尺度残差收缩网络(MSRSN)的滚动轴承寿命状态识别方法。首先,为获得清晰的故障特征频率及倍频,将原始数据样本转换为包络谱输入深度卷积自编码器中,实现轴承寿命状态特征的自动提取与表达,并基于多维尺度分析(MDS)算法约简寿命状态特征获得低维特征,然后计算低维特征空间内样本间的欧几里得距离(ED),即为轴承性能衰退评估指标;其次,为全面提取轴承性能衰退特征,提出了改进的多尺度残差收缩网络识别模型,并开发了ReLU与DropBlock正则化相结合的新激活策略增强模型的抗噪性;最后,将所提方法及对比方法应用于轴承全寿命实验数据。实验结果表明:笔者提出的性能衰退评估指标能够精准地识别轴承性能退化起始点以及刻画轴承的退化趋势,所提出的改进的多尺度残差收缩网络识别模型在S SNR=-4~6 dB环境中平均识别正确率为91.75%,能够准确识别轴承寿命状态,验证了方法的实用性以及有效性。

多尺度特征融合的改进残差网络乳腺癌病理图像分类

现有模型病理特征提取不充分以及开源数据集各类型数量不平衡等问题,使得乳腺癌病理图像的多分类研究仍具挑战性。本研究提出了一种多尺度特征融合的改进残差网络乳腺癌病理图像多分类方法。首先,以ResNet101残差网络作为基础,将CBAM注意力模块插入到每一个残差块中;接着,为了优化特征提取,将横向和纵向的多尺度特征融合集成到残差网络中;最后,引入焦点损失函数以解决数据分配不平衡问题。经BreakHis公开数据集混合放大倍数1582张病理图像训练验证,所提出的改进残差网络在乳腺癌病理图像八分类上的识别准确率为94.4%,较原始模型提升2.8%,优于大多数已有公开深度学习模型。该模型的提出为女性乳腺癌的筛查诊断和病理分类提供了更为有效的方法。

基于残差网络多尺度特征融合的滚动轴承故障诊断

针对传统故障诊断方法在面临复杂工况时出现的特征提取不足、分类器选取困难、诊断精度不高等问题,提出了一种基于残差神经元网络多尺度特征融合的滚动轴承故障诊断模型并用于电机轴承的故障诊断。首先,采用小波变换将轴承振动信号转换为二维时频图作为输入数据集;然后,在残差网络中构建多尺度特征融合模块,提取故障样本不同尺度下的特征;最后,将轴承数据集输入到网络中,实现特征提取及故障诊断。实验结果表明,基于残差网络多尺度特征融合的故障诊断模型可以有效提取信号特征,提高了故障诊断的准确性。

采用多尺度密集残差网络的水下图像增强

为了有效解决水下图像亮度、对比度过低和颜色混乱等问题,提出一种改进的多尺度密集残差网络的水下图像增强方法。对原始图像进行多尺度特征提取,更好地保留了图像细节,通过改进的密集残差网络对水下图像进行增强处理,提升图像亮度和对比度,校正图像颜色,在每个密集残差网络间添加了SK注意力机制,可以选择性地捕捉输入图像的关键信息并进行处理,将增强后的水下图像进行多尺度融合。通过Type和EUVP两个水下图像数据集对所提出方法进行验证,基于物理模型和数据驱动的6种方法进行了主观效果和客观指标间的比较。在主观效果的定性分析中发现,所提出的方法在提高亮度和对比度方面取得了很大的进步。在客观图像评价指标的定量分析中,峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)、信噪比(Signal to Noise Ratio,SNR)、均方误差(Mean Square Error,MSE)、视觉信息保真度(Visual Information Fidelity,VIF)、信息保真度准则(Information Fidelity Criterion,IFC)、噪声质量评价(Noise Quality Measure,NQM)、亮度顺序误差(Lightness Order Error,LOE)和自然图像质量评价(Natural Image Quality Evaluator,NIQE)指标较现有的水下图像增强算法分别提高了1.5%,1%,1.2%,1.2%,1.3%,1.2%,1.7%,3.0%和1.1%。提出的改进多尺度密集残差网络不仅可以增强图像的亮度、对比度以及校正图像的颜色,而且可以应用于更广泛的水域场景。

基于改进多尺度残差网络的工业机器人旋转部件故障研究

针对传统残差神经网络未考虑不同尺度故障特征差异的问题。提出一种基于改进多尺度残差神经网络的工业机器人旋转部件故障诊断模型(Improved Multiscale Residual Neural Network,IMRNN)。首先使用不同大小的宽卷积层提取故障信号中的宏观特征,并将其合并为初始特征向量;其次构建多尺度自适应选择卷积块提取不同尺度的特征;然后引用残差架构到多个尺度层中提高模型的泛化性;同时应用通道注意力机制对特征进行加权融合,从而完成故障诊断。结果显示,该模型有更高的准确率和良好的抗干扰能力。

基于多尺度增强级联残差网络的DAS地震资料背景噪声衰减方法

由于复杂强背景噪声的影响,分布式光纤声学传感(Distributed Optical Fiber Acoustic Sensing,DAS)采集的地震记录普遍信噪比较低。如何有效抑制背景噪声,恢复弱上行反射信息,切实提升DAS记录信噪比,已成为资料处理领域的热点问题之一。针对复杂DAS背景噪声消减问题,提出了一种多尺度增强级联残差网络(Multiscale Enhanced Cascade Residual Network,MECRN)。MECRN具有双路径级联残差网络结构,通过双路径机制提取DAS记录浅层信息。在此基础上,引入空洞卷积和多尺度模块提取DAS记录的多尺度特征,并通过跳跃连接导入浅层特征,在避免有效特征损失的同时,提升网络的特征提取能力。最后,通过残差学习整合局部和全局特征,并对重建特征细化,进一步提升了MECRN的去噪能力。模拟和实际DAS资料处理结果均表明,MECRN可以有效地压制DAS记录中的复杂背景噪声,准确恢复弱反射信号,显著提升处理DAS资料的能力。

基于注意力机制和多尺度残差网络的农作物病害识别

针对传统农作物病害识别方法依靠人工提取特征,步骤复杂且低效,难以实现在田间环境下识别的问题,提出一种多尺度卷积结构与注意力机制结合的农作物病害识别模型。该研究在残差网络(ResNet18)的基础上进行改进,引入Inception模块,利用其多尺度卷积核结构对不同尺度的病害特征进行提取,提高了特征的丰富度。在残差结构的基础上加入注意力机制SENet(Squeeze-and-excitation networks),增强了有用特征的权重,减弱了噪声等无用特征的影响,进一步提高特征提取能力并且增强了模型的鲁棒性。实验结果表明,改进后的多尺度注意力残差网络模型(Multi-Scale-SE-ResNet18)在复杂田间环境收集的8种农作物病害数据集上的平均识别准确率达到95.62%,相较于原ResNet18模型准确率提高10.92个百分点,模型占用内存容量仅为44.2 MB。改进后的Multi-Scale-SE-ResNet18具有更好的特征提取能力,可以提取到更多的病害特征信息,并且较好地平衡了模型的识别精度与模型复杂度,可为田间环境下农作物病害识别提供参考。

基于多尺度残差网络的CT图像超分辨率重建

为了将超分辨率重建算法应用于医学影像领域,提升各类医学影像的分辨率,针对当前主流算法网络结构和分辨率提升倍数的尺度单一性问题,提出了一种应用于CT图像的多尺度残差网络模型。首先,通过级联多层残差块构建模型框架,残差块内采用3种尺度的卷积核提取低分辨率图像的细节特征。然后,将特征图融合在一个维度进行特征映射和数据降维,并将多尺度特征信息导入下一残差块。最后,将网络学习到的残差图与低分辨率图像融合,重建高分辨率图像。采用经过多种放大倍数处理的CT图像对网络进行混合训练,实现了一个模型可以同时支持多种倍数的分辨率提升。实验结果表明:在2,3,4倍放大因子下,该模型重建的CT图像PSNR平均较VDSR算法高0.87,0.83,1.16dB。因此,本文模型有效提升了CT图像的超分辨率重建效果,更锐利地恢复了其细节特征,同时大大提升了算法实用性。

多尺度残差网络模型的研究及其应用

针对传统的卷积神经网络不能充分利用图像的多尺度信息,以及网络层数的增加导致优化参数增加的问题。提出多尺度残差网络模型通过多尺度跨通道的卷积融合提高图像的特征表征能力;然后把大的卷积核分解成小的非对称卷积核降低网络的参数计算;接着利用残差网络原理来降低深层网络的梯度消失问题;最后将提出的多尺度卷积模块嵌入到Lenet网络中。在Mnist数据集上的测试结果证明分类准确率比原始Lenet网络提高了0. 24%,在LFW数据集上的测试结果表明分类准确率优于Deep Face、Web Face等传统算法。

深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network,DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。

基于多尺度特征融合残差神经网络的旋转机械故障诊断

轴承、齿轮等旋转部件常在复杂工况下运行,环境噪声干扰大,导致故障特征微弱而难以准确诊断。基于此,该研究提出一种新的多尺度特征融合残差块(multi-scale feature fusion residual block,MSFFRB)设计方法,基于此构建了一维残差神经网络用于旋转机械故障诊断。该模型能够将不同尺度的网络卷积层级联在一起提取多尺度特征信息,在残差块内部实现了多尺度特征信息的有效融合,兼顾了残差网络跨层恒等映射与多尺度特征提取的优势,克服了传统卷积操作只能提取单一尺度特征信息的缺点。所构建的残差神经网络可以直接输入样本数据,不需要进行任何数据预处理,而且模型结构具有较高的灵活性,易于扩展。试验分析表明,所提网络可有效用于旋转机械的故障诊断,相比传统CNNs、ResNets、1D-LeNets、1D-AlexNets、MC-CNNs等5种当前常用网络,具有更好的抗噪性能,故障分类准确率更高,这为旋转机械故障诊断提供了一种新的途径。

多尺度残差网络的单幅图像超分辨率重建

针对目前提高图像分辨率的卷积神经网络存在的特征提取尺度单一以及梯度消失等问题,提出了多尺度残差网络的单幅图像超分辨率重建方法。采用多尺度特征提取和特征信息融合,解决了对图像细节特征提取不够充分的问题;将局部残差学习和全局残差学习相结合,提高了卷积神经网络信息流传播的效率,减轻了梯度消失现象。在Set5、Set14和BSD100等常用测试集上进行了实验,该方法的实验结果均优于其他5种方法,相比于SRCNN方法,平均PSNR提升了0.74 dB,平均SSIM提升了0.0143 dB;相比于VDSR方法,平均PSNR提升了0.12 dB,平均SSIM提升了0.0025 dB。

基于深度残差网络的医学超声图像多尺度边缘检测算法

为提高医学超声图像在临床诊断的效果,需先对图像进行优化检测和识别,提出一种基于深度残差网络的医学超声图像多尺度边缘检测算法.首先,通过对原始医学超声图像进行自动标注,构建医学超声图像灰度分布矩阵,利用分布矩阵完成医学超声图像的多尺度分割;其次,构建医学超声图像多尺度边缘的轮廓模型,提取多尺度图像边缘特征;再次,构建深度残差网络结构,采用深度残差学习算法进行超声图像的底层图像信息融合;最后,对融合后的边缘图像数据进行多尺度边缘检测.实验结果表明,该算法的图像分割精度高,特征提取准确率达80%以上,图像边界中间断区检测效果较好,边缘点查全性较高,算法检测耗时短、收敛性强.

基于多尺度残差网络的对象级边缘检测算法

面向对象的边缘检测技术是智能视觉处理领域的关键基础技术,然而目前基于卷积神经网络的边缘检测结果存在分辨率低、噪声较多等问题。因此,文中提出了一种基于多尺度残差网络的对象级边缘检测算法。首先,设计了混合空洞卷积残差块,来替换原始残差网络中的普通卷积核,以放大网络的感受野;然后,设计了多尺度特征增强模块,对边缘信息进行多尺度特征提取,以放大网络的信息接受域;最后,设计了结合顶层语义特征的金字塔多尺度特征融合模块,将不同尺度下的特征信息进行融合,以输出边缘检测后的图像。为了验证所提算法的有效性,在公开数据集BSDS500上进行实验。实验结果表明,与现有算法相比,所提算法具有更好的边缘检测效果,客观指标ODS,OIS和AP分别达到了0.819,0.838和0.849,主观检测效果也更接近真实值,噪声更少。