基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。

基于RDE-GAN算法的多阶段壁画图像修复

针对现存的壁画图像修复方法仍存在纹理细节缺失及图像输入像素尺寸不合适的问题,提出了一种多阶段密集残差和高效注意力机制的壁画图像修复(multi stage mural image restoration based on residual dense efficient-generative adversarial networks,RDE-GAN)算法。整个网络采用编码器-解码器架构,使网络具有足够大的感受野,便于充分利用图像的特征信息。首先,利用全局感知网络得到粗略的初始结果;其次,引入较小感受野的密集残差局部过渡网络;最后,利用高效细化网络增强图像的结构信息及图像语义的连贯性。将该算法分别与其他相关算法在定性定量分析上进行比较,结果表明,在[50%,60%)掩码比例中,RDE-GAN算法的峰值信噪比(peak signal-to-noise ratio,PSNR)为32.5655 dB、结构相似性指数(structural similarity index measure,SSIM)为0.9690、学习感知图像块相似度(learned perceptual image patch similarity,LPIPS)为0.0141、生成图像与真实图像越相似指标(Fréchet inception distance,FID)为11.3027,且在其他5种掩码比例中RDE-GAN算法均优于对比算法。该研究成果能用于壁画等文化遗产的保护。

基于全局补偿注意力机制的战场图像去雾方法

在现代化战争中,广泛利用图像等载体获取信息,但雾天环境下得到的图像不仅影响场景呈现,而且会掩盖重要特征。为提高雾天图像在现代化战争的利用价值,提出一种基于全局补偿注意力机制的战场图像去雾方法。构建全局补偿模块保证输出图像的完整性,并加入通道下采样恢复清晰图像;使用密集残差模块学习退化图像和清晰图像的非线性映射,同时加入注意力机制提高网络的灵活处理能力;通过提升输入图像的通道数量确保网络充分学习特征信息。实验结果表明,与经典和新颖图像去雾方法比较,所提方法在主观和客观评价上均取得出色成绩,说明该方法将注意力机制和全局补偿模块充分结合,有效缓解了战场图像退化问题,同时注重特征增强,使信息得以完整呈现,具有更优越的性能。

改进的密集U型网络对视网膜血管的分割

针对视网膜血管分割中存在的细小血管像素模糊以及血管断裂的问题,本文提出一种改进的密集U型网络(dense residual U-shaped network,DRU-Net)。首先,结合残差结构和密集连接的优点提出了密集残差模块,并用其构建DRU-Net网络的编码层和解码层,充分提取目标特征;然后在网络底部添加由空洞卷积搭建的多路特征蒸馏模块(multi-characteristic distillation block,MCDB),提取不同尺度的图像特征信息;最后在网络的跳跃连接处引入双向卷积长短期记忆模块(bidirectional convolutional long and short-term memory,BConv LSTM),充分融合浅层和深层的特征信息,输出完整的血管图。在公开的数据集DRIVE和CHASE_DB1上进行实验,分别取得了0.9669和0.9764的准确度,同时AUC(area under curve)分别达到了0.9839和0.9867,证明网络具有较好的分割效果,拥有一定的应用价值。

基于多尺度循环网络的运动模糊图像复原方法

针对目前图像去模糊恢复细节不好、泛化性能不高的问题,提出了一种基于多尺度循环网络的运动模糊图像复原算法,在编码端将多尺度特征融合模块和残差密集连接模块融合,引入多尺度残差密集型连接模块。同时引入一种注意力机制并将融合了注意力机制的多尺度残差密集连接模块作为网络的基本结构。实验结果表明,与生成对抗网络相比,在GOPRO数据集的PSNR和SSIM最大分别提升了4.13 dB和0.0254 dB,和近年来效果最明显的SRN相比,Kohler数据集上的PSNR和SSIM分别提升了0.31 dB和0.0179 dB,具有更好的泛化性能。

基于空间元学习的放大任意倍的超分辨率重建方法

针对现有的基于深度学习的超分辨率重建方法主要研究放大整数倍的重建,对放大任意倍(如非整数倍)重建情况讨论较少的问题,提出一种基于空间元学习的放大任意倍的超分辨率重建方法。首先,利用坐标投影找出高分辨率图像与低分辨率图像坐标间的对应关系;其次,在元学习网络的基础上,考虑特征图的空间信息,将提取到的空间特征与坐标位置相结合作为权值预测网络的输入;最后,将权值预测网络预测出的卷积核与特征图结合,从而有效地放大特征图的尺寸,得到放大任意倍的高分辨率图像。所提的空间元学习模块可以与其他深度网络相结合,得到放大任意倍的超分辨率图像重建方法。所提的放大任意倍(非整数倍)超分辨率重建方法解决了实际生活中放大尺寸固定且非整数倍的重建问题。实验结果表明,所提的重建方法在空间复杂度(网络参数)相当的情况下,时间复杂度(计算量)是其他重建方法的25%~50%,且峰值信噪比(PSNR)比其他一些方法提高了0.01~5 dB,结构相似度(SSIM)提高了0.03~0.11。

多尺度沙漏结构的单幅图像去雨算法研究

雨天环境会造成图像模糊、变形,大幅降低图像质量,对于后续的图像分析和应用造成严重影响.单幅图像的去雨算法研究成为热点,然而现有算法存在过度平滑、颜色失真和复杂雨水图像复原能力差等诸多问题,去雨问题难以有效解决.本文提出一种新颖的多尺度沙漏结构的单幅图像去雨算法.首先,针对雨的特征复杂多样的特点,采用多尺度沙漏网络结构,提取并融合多尺度的雨线特征;其次,在沙漏网络内部,引入残差密集模块,使特征在不同级别网络中实现传递和复用,最大限度的提取细节特征和增强网络表达能力;最后,针对雨水不均匀分布的特点,在残差密集网络基础上加入注意模块,提高算法在空间和通道方面特征提取能力,能够处理复杂的雨天图像.实验结果表明,本方法相较于现有算法,能够更好的去除雨线,并且能够最大程度的保留图像细节和颜色信息.

面向精准目标定位的水面目标检测算法

为提升水面目标的检测性能,保障智能船舶的航行安全,基于YOLOv3 (you only look once)提出了一种面向精准目标定位的水面目标检测算法.首先,利用残差密集模块改进了YOLOv3的头部网络,让不同特征间能够进行跨越式的信息交互.其次,将头部网络中的最近邻上采样层替换为了反卷积层,使得网络在训练过程中能够更加自主地学习特征缩放.最后,将普通的学习率衰减策略和余弦退火策略相结合,进一步提升网络的训练效果.利用真实水域下的图像数据对提出的方法进行训练和测试,实验结果表明:提出的方法将水面目标的检测精度提升了4.7%,实现了更加精准的目标定位.

基于三端注意力机制的视网膜血管分割算法

视网膜血管的结构和形态是计算机辅助系统诊断眼科疾病的重要依据.针对细小血管分割精度低的问题,提出一种融合残差密集模块与三端注意力模块的改进型U-Net算法.首先,将残差模块与密集模块相结合,充分利用每层的特征,提高网络提取细小血管特征的能力.在解码阶段引入三端注意力模块,利用空间注意力机制自适应地对特征进行空间校正,抑制背景噪声,突出目标区域.同时,通过多尺度特征融合的方式,利用高级语义特征改善网络对细小血管的分割效果.最后,为获取血管的多尺度特征,在编码-解码网络结构中加入空洞卷积,在不增加参数的情况下增加感受野.基于DRIVE和STARE数据集的实验结果表明,所提出网络的灵敏度、特异性、准确率和AUC(area under curve)分别为81.26%/82.57%、98.20%/98.37%、96.70%/97.51%和98.12%/98.41%,优于现有先进算法.