基于密集残差连接U型网络的噪声图像超分辨率重建

现有的图像超分辨率重建网络难以适用于煤矿井下噪声密集的应用场景,且多数网络通过增加深度提升性能会导致无法有效提取关键特征、高频信息丢失等问题。针对上述问题,提出了一种密集残差连接U型网络,用于对低分辨率噪声图像进行超分辨率重建。在特征提取路径中引入基于密集残差连接的去噪模块,通过密集连接的方式对图像特征进行充分提取,再利用残差学习的特点对低分辨率噪声图像进行有效去噪;在重建路径中引入残差特征注意力蒸馏模块,通过在残差块中融入增强特征注意力块,对不同空间的特征赋予不同的权重,加强网络对于图像关键特征的提取能力,同时减少图像细节特征在残差块中的损失,从而更好地恢复图像细节信息。在煤矿井下图像数据集及公共数据集上进行了对比实验,结果表明:在客观评价指标上,所提网络的结构相似度、图像感知相似度均优于对比网络,且在复杂度及运行速度上有着较好的均衡;在主观视觉效果上,所提网络重建的图像基本消除了原有图像噪声,有效恢复了图像的细节特征。

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。本文整体架构是一种自编码器网络,首先,利用存在最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合,网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、场景有关的细节信息。最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。本文提出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合性能。

融合双残差密集与注意力机制的视网膜血管分割

针对视网膜血管末端细小,且容易与背景混淆等现象从而导致细小血管不易分割和断裂等情况,提出了一种融合双残差密集与注意力机制的视网膜血管分割算法。首先,在编码器部分利用双残差密集块与高效通道注意力机制来获取特征;其次,为了解决细小血管分割不足的现象,在编码器与解码器中间使用空洞卷积替换标准卷积来增大感受野;最后,自适应聚合块将之前所有块的特征映射组合起来,形成一个新的特征映射,作为后续层的输入,在自适应聚合块或DDRB之后,将使用卷积层来压缩特征映射,则双残差密集块(从DDRB1到DDRB5)的输出特征映射被完全重用。分别在DRIVE和STARE数据集上进行验证,其ACC分别为96.85%和97.84%,AUC分别为98.61%和99.45%。

基于多分支特征融合的密集人群计数网络

针对人群计数任务中存在的多尺度变化、背景噪声等问题,提出一种基于多分支特征融合的人群计数网络。在网络前端设计一个双向特征融合路径,将网络深层的语义信息和浅层的空间细节信息进行反复提取融合,使用位置注意力机制和通道注意力机制增强网络对人群和背景之间的判别能力,生成高质量特征图;网络后端采用密集残差连接增强网络对人头连续的多尺度信息提取能力,得到最终的人群密度图。在ShanghaiTech、UCF_CC_50和UCF_QNRF数据集上分别进行的对比实验的结果表明,该模型的计数性能优于先前诸多方法,有着良好的计数精度。

融合通道注意力与残差密集的U-Net视网膜血管分割

视网膜血管的精准分割是辅助眼科医生诊断和大规模眼科疾病自动筛查的重要前提,已成为临床的迫切需求。针对现有视网膜细小血管分割不足以及精确度有待提高等问题,提出了一种融合通道注意力机制与残差密集连接模块的改进型U-Net算法,先利用通道注意机制来增强网络的识别能力,再利用残差密集模块代替传统的卷积模块来提升网络分割细小血管的性能。在DRIVE和CHASE数据集上的实验结果表明,与其他算法相比,该算法的ACC、SE、SP和AUC值均比较高,分割效果较好。

基于交互注意力的红外与可见光图像融合算法

为解决现有红外与可见光图像融合目标不够显著,轮廓纹理细节不够清晰等问题,提出了一种基于交互注意力的红外和可见光图像融合网络。该方法通过双流特征提取分支提取源图像的多尺度特征,然后经过交互融合网络获得注意力图,以便从红外与可见光图像中自适应地选择特征进行融合,最后通过图像重建模块生成高质量的融合图像。在MSRS数据集和TNO数据集的实验结果表明,所提方法在主观视觉描述和客观指标评价方面均表现出了较好的性能,融合结果包含更清晰的细节信息和更明显的目标。

基于多尺度循环网络的运动模糊图像复原方法

针对目前图像去模糊恢复细节不好、泛化性能不高的问题,提出了一种基于多尺度循环网络的运动模糊图像复原算法,在编码端将多尺度特征融合模块和残差密集连接模块融合,引入多尺度残差密集型连接模块。同时引入一种注意力机制并将融合了注意力机制的多尺度残差密集连接模块作为网络的基本结构。实验结果表明,与生成对抗网络相比,在GOPRO数据集的PSNR和SSIM最大分别提升了4.13 dB和0.0254 dB,和近年来效果最明显的SRN相比,Kohler数据集上的PSNR和SSIM分别提升了0.31 dB和0.0179 dB,具有更好的泛化性能。

基于深度神经网络的单幅图像盲去噪算法

针对大多去噪网络仅在合成噪声去噪任务上表现良好,且只从单一尺度上提取特征,不能够更好的重构出干净的图像等问题,本文提出了一种多尺度特征融合的真实噪声图像盲去噪算法。该算法的横向网络结构利用自适应密集残差块提取同一尺度的丰富特征,并且有选择性的增强信息量大的特征,纵向网络结构利用金字塔层与编-解码器进一步获得不同的感受野,实现多尺度特征提取,横向同一尺度的特征与纵向不同尺度的特征充分融合更有利于噪声去除,保留图像的边缘细节。在真实噪声测试集(DND和SIDD)上对提出的网络进行评估,峰值信噪比(PSNR)分别为39.62和39.49,结构相似性(SSIM)分别为0.956和0.954。实验结果表明,本文提出的网络取得了更加优越的性能表现。

基于可变形非局部三维卷积网络的视频超分辨率重建算法

视频超分辨率(VSR)技术的目标是找出从相应的低分辨率(LR)视频序列重建高分辨率(HR)视频的最佳重建方案。提出了一种新颖的可变形非局部三维卷积网络(DNL-3DCNN)能有效地利用时空信息和参考帧与相邻帧之间的全局相关性。具体来说,非局部结构(Non-Local)同时增强了输入帧的时空信息中所需要的精细细节。此外,残差可变形三维卷积(R3D)获得了卓越的时空建模能力和运动感知建模的灵活性。此外,残差密集连接网络(RRDB)再进行重建处理,以充分利用输入到重建模块的层级特征。在基准数据集上进行的定量和定性实验表明,与现有的较为先进的VSR方法相比,所提方法在PSNR指标上提高了1.19db,在SSIM指标上提高了约5.95%。消融性实验确认提出的三个模块均带来了一定的性能增益,实验结果验证了所提算法在视频超分辨率时空信息重建领域的有效性。

基于DCResNet的SAR图像车辆目标识别

合成孔径雷达(SAR)图像自动目标识别中,特征提取和目标分类是两个重要环节。残差网络(ResNet)作为一种较新的卷积神经网络,凭借其对目标特征的自适应学习能力,在SAR图像分类领域表现突出。本文在ResNet基础上,设计出了密集连接型残差网络(DCResNet),用于SAR图像目标识别。DCResNet在残差模块中增加了跳跃性连接的密度,不仅继承了ResNet的易学习的优点,还加强了特征的传播和利用率。除此之外,DCResNet采用平均池化的方式进行下采样,抑制了SAR图像中噪声对识别精度造成的影响。关于SAR图像目标识别的实验结果证明,本文提出的DCResNet与ResNet、AlexNet相比,不仅具有更快的收敛速度和推理速度,而且目标分类的准确率更高。

基于半监督学习的单幅图像去雨算法

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象,对后续图像分析及应用造成严重影响。近年来,已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难,大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异,基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果,提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异,使两者特征分布一致。同时,针对雨纹复杂多样的特点,引入多尺度网络以获取更丰富的图像特征,并提高模型性能。实验结果表明,所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别至少提升了0.66 dB、0.01,在去除雨纹的同时能最大限度保留图像细节和颜色信息;并且由于减少了分布差异,该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法,具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果,拥有较高的独立性。

基于DC-Unet的混凝土桥梁表观裂缝识别方法

为解决服役混凝土桥梁表观损伤检测存在误检率高、受背景噪声影响大等问题,提出一种基于DC-Unet的表观裂缝识别方法。首先,使用密集残差连接模块(DRCM)替换U-net模型中每次下采样和上采样前以及最后1×1卷积前的卷积操作,增加了模型深度;其次,在模型第1次上采样前的位置融入空洞空间池化金字塔模块,扩大了模型感受野,提升了模型获取多层次表观裂缝特征的能力;最后,将结合了空间和通道的注意力模块以残差连接的方式融入DRCM结构中,提高了模型对表观裂缝特征区域的关注,使用Labelme软件标注50张3 648像素×2 736像素分辨率的表观裂缝图像,基于窗口滑动算法构建了包含1 347张混凝土表观裂缝图像及标签图像的TimCracks数据集,将提出的表观裂缝识别方法与U-net模型、SegNet模型、U-net++模型、传统OTSU阈值分割算法和基于Canny算子的边缘检测算法进行了比较。结果表明:提出的方法能准确分割识别混凝土桥梁表观裂缝,具有精度高和抗噪性好等优势,在表观裂缝图像背景存在涂层干扰及不光滑褶皱状况下均可有效降低误检率,裂缝识别准确率、交并比和F_(1)-score分别达96.28%、73.80%和84.91%,3个评价指标较U-net模型、SegNet模型、U-net++模型均有提升,与传统裂缝分割算法相比,提出的DC-Unet网络解决了传统方法的误检问题,能将裂缝从涂层背景中有效分割。

阶梯式图像去噪方法

为了提高对原始红绿蓝(RAW)和标准红绿蓝(sRGB)2种格式的真实噪声图像的去噪性能,提出了一种基于卷积神经网络的阶梯式图像去噪方法。第一阶段,利用单个通道内空间结构信息对图像各个通道独立去噪,获得初步去噪结果。第二阶段,利用噪声图像在不同通道的相关性进一步去噪,获得增强的去噪结果。在所提方法中引入误差反馈机制来减少采样带来的信息损失;使用密集残差连接模块使得提取到的噪声图像特征能更有效地复用和传播;利用通道注意力使得网络有选择性地增强信息量大的特征,抑制无用特征。将所提方法与常用的其他去噪方法比较,实验结果表明,在达姆施塔特噪声数据集的RAW/sRGB数据集上,所提方法分别达到了49.55 dB和39.55 dB的峰值信噪比(PSNR);在跨通道数据集达到了39.52 dB的PSNR,较目前绝大多数方法具有更好的性能。