融合半波注意力机制的低光照图像增强算法研究

针对当前基于卷积神经网络的低光照图像增强算法(CycleGAN,Retinex-Net等)存在模型参数过大、内存消耗高、图像复原质量不佳等问题,在轻量级算法IAT基础上,提出了融合半波注意力模块的低光照图像增强算法HBTNet。为了改善网络频繁卷积造成的空间信息损失,在网络中引入半波注意力模块,可有效获得小波域的特性,丰富上下文信息,提高特征提取能力。通过引入MS-SSIM损失函数用来保存图像的边缘和细节信息,提升图像恢复的质量。实验结果表明,在LOL数据集上HBTNet相较于IAT算法PSNR提升了2.69%,SSIM提升了5.56%。HBTNet算法的模型参数量仅为0.11 M,可以满足终端用户实时性要求。

有监督深度学习的地震资料提高分辨率处理方法

地震资料分辨率直接影响后续处理和解释成果精度,因此备受关注。深度学习方法具备自动提取深层特征和出色的非线性逼近能力,在反问题求解中广泛应用。在地震勘探领域,深度卷积网络中的卷积算子与地震数据的褶积模型相吻合,因而有望通过智能化手段显著提升地震资料的分辨率。目前,针对卷积神经网络提高地震资料分辨率方面的研究发展迅速,但问题的核心在于设计适合、有效的网络结构和损失函数。为此,提出一种基于强监督学习的地震资料高分辨率处理方法。该方法充分利用地下结构的空间连续性,借鉴图像超分辨率重建的思想,设计了一种生成对抗网络结构,用以提高地震资料的纵向分辨率;同时,采用L1损失和多尺度结构相似性(MS-SSIM)损失相结合的损失函数提高感知质量,以提高网络的高分辨率处理效果。合成数据和实际地震数据的应用结果显示,相较于常规损失函数,文中采用的损失函数可以显著提升智能算法的处理效果,明显改善地震数据同相轴的连续性,且高频细节信息更丰富,验证了该方法的可行性和有效性。

改进的CycleGAN网络用于水下显微图像颜色校正

针对海洋水体及悬浮颗粒物吸收和散射所导致的水下显微图像的颜色信息失真问题,本文提出了一种改进的循环一致性对抗网络(Cycle-consistent Adversarial Network,CycleGAN)算法,实现对水下目标物图像的颜色校正。通过在原始水下降质图像和重构水下图像之间加入R、G、B三个通道的结构相似性(Structure Similarity Index Measure,SSIM)损失函数,度量二者图像之间的信息损失,进而实现R、G、B三个通道颜色的精准调控,不仅增强了CycleGAN网络的整体性能,也提高了生成器生成图像的质量。然后,利用水下多色自制标靶及天然矿石的显微图像组成的训练数据集对本文所提的改进网络进行训练,所得的模型可用于实际矿石样品表面的显微图像颜色校正。结果表明,本文所提的改进的CycleGAN算法较其它方法在颜色校正方面有着明显的优势。与传统的Retinex算法相比,处理后的图像峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性指标分别提高41.85%、35.62%,而且,从主观视觉角度可发现经过校正的水下显微图像与空气中图像颜色相似度最高。综上,本文方法可以有效地对水下目标物图像进行颜色校正,并提升水下显微图像的质量,有望在海洋地质和海洋生物学方面得到应用。

基于增强生成器条件生成对抗网络的单幅图像去雾

大气中烟雾等粒子的存在会导致肉眼捕获场景的能见度降低。大多数传统的去雾方法都是预期估计雾霾场景的透射率、大气光,并利用大气散射模型恢复无雾图像。这些方法尽管取得了显著进展,但由于过分依赖苛刻的先验条件,在缺乏相应先验条件下的去雾效果并不理想。因此,提出一种端到端的一体化除雾网络,使用增强生成器的条件生成对抗网络(CGAN)直接恢复无雾图像。生成器端以U-Net作为基础架构,通过“整合-加强-减去”的促进策略,用一个简单有效的增强解码器,增强解码器中特征的恢复。另外,加入了多尺度结构相似性(MS-SSIM)损失函数,增强图像的边缘细节恢复。在合成数据集和真实数据集上的实验中,该模型的峰值信噪比(PSNR)和结构相似性(SSIM)明显优于传统的暗通道先验(DCP)、一体化除雾网络(AOD-Net)、渐进式特征融合网络(PFFNet)、条件Wasserstein生成对抗网络(CWGAN)去雾模型。实验结果表明,相较于对比算法,所提网络能够恢复出更接近于地面真相的无雾图像,除雾效果更优。

基于残差注意力和半监督学习的图像去雾算法

基于训练合成图像的去雾算法往往不能在真实图像数据集上取得较好效果。针对泛化能力不理想等问题,文中提出了一种基于残差注意力机制的半监督学习网络用于单幅图像去雾算法。其主干网络由编码器和解码器构成,通过使用堆叠的残差注意力模块调整不同尺度的特征权重,赋予重要特征更多权重。局部残差学习选择绕过薄雾区域,使模型关注有效信息。文中训练分为有监督学习和无监督学习两个分支,分别输入合成数据和真实数据,其中使用暗通道损失和全变分损失来约束无监督分支。实验结果表明,文中所提算法在合成数据集和真实数据集上均取得了较好的结果,图像的平均处理时间仅为0.01 s,在去雾效果和处理时间上实现了平衡。

结构相似度的立体视频错误隐藏

针对立体视频传输中右视点整帧丢失,提出了一种基于结构相似度(Structural Similarity,SSIM)的立体视频右视点整帧丢失错误隐藏算法。首先,提出了时域SSIM和视间SSIM的概念。然后,根据视频序列的时域相关性,将前一时刻右视点图像宏块的预测方式作为丢失图像宏块的预测方式。接着,将前一时刻右视点图像以宏块为单位进行时域和视间匹配,求取其以像素为单位的时域SSIM映射图和视间SSIM映射图。最后,计算并比较前一时刻右视点图像每个宏块的时域SSIM和视间SSIM值,得到每个宏块的预测方式,将其预测方式作为丢失帧中宏块的预测方式,从而使用运动补偿预测或者视差补偿预测的方法进行恢复。实验结果表明,与传统的算法和Pang的算法相比,PSNR值分别提高了2.76 dB和3.43 dB,且本文算法主观效果较好。