基于细节增强和多颜色空间学习的联合监督水下图像增强算法

由于水下特殊的成像环境,水下图像往往具有严重的色偏雾化等现象。因此文中根据水下光学成像模型设计了一种新的增强算法,即基于细节增强和多颜色空间学习的无监督水下图像增强算法(UUIE-DEMCSL)。该算法设计了一种基于多颜色空间的增强网络,将输入转换为多个颜色空间(HSV、RGB、LAB)进行特征提取,并将提取到的特征融合,使得网络能学习到更多的图像特征信息,从而对输入图像进行更为精确的增强。最后,UUIE-DEMCSL根据水下光学成像模型和联合监督学习框架进行设计,使其更适合水下图像增强任务的应用场景。在不同数据集上大量的实验结果表明,文中提出的UUIE-DEMCSL算法能生成视觉质量良好的水下增强图像,且各项指标具有显著的优势。

基于颜色校正与改进的对比度增强的水下图像增强方法

针对水下介质分布不均匀引起的光吸收和散射导致图像颜色失真、对比度低、细节模糊,严重影响ORBSLAM2算法前端特征提取与匹配鲁棒性的问题,文中提出一种基于颜色校正与改进的自适应对比度增强的图像处理方法。首先,利用一种改进的颜色通道补偿和颜色通道拉伸方法去除色偏;其次,采用改进的自适应对比度增强方法提高图像的亮度与对比度;最后,将彩色校正图像与对比度增强图像在HSV空间中融合。此外,将提出的算法与一些其他算法进行主客观的评价,并将处理好的图片进行特征提取和匹配。结果表明,该算法处理的图片不仅在主客观评价上均优于对比算法,而且增加了特征点的匹配数量,为水下图像处理提供了借鉴。

用于水下图像增强的多层级联融合增强网络

为了提高水下无人潜航器决策的准确性,构建了一种用于增强水下图像的多层级联融合增强网络。首先,设计注意力引导的色彩增强模块并结合多层级联增强架构,在提取图像多尺度特征的同时,加强特征重用;其次,设计全局调整模块,将Swin Transformer与扩张卷积相结合,提升网络对于退化图像整体增强效果;最后,将各模块提取到的特征信息经由三重特征聚合模块进行融合增强,得到增强水下图像。为了可以更好地训练模型,构造了联合损失函数。与其他水下图像增强方法的对比实验结果表明,所提方法对于水下图像存在的色偏、模糊等问题均有着良好的增强效果,并对后续特征提取任务的完成有着较大的促进作用。

水下图像增强与复原技术进展与展望

近年来,水下图像增强与复原技术已成为促进水下目标检测、海洋生物识别、海底测绘等领域发展的重要手段,具有重要的学术意义与应用价值.首先,回顾并分析了水下成像机理,同时指出了当前水下成像技术由硬件设备、气候约束、人造光源以及粒子干扰这4个方面所带来的难点与挑战;其次,全面介绍了水下图像增强与复原技术相关工作,分析了2种技术的联系与区别,同时从技术路线的角度对当前主流水下图像增强与复原方法进行了详细的分类与讨论,并通过实验指明了不同分类方法的各自特点;再次,总结了常用的水下图像数据集与图像评价指标,从数据支撑以及质量评估的方面为当前水下图像增强与复原工作提供了全面翔实的技术指导;最后,预测并分析了未来水下图像增强与复原技术在应用场景、降质方式以及评价指标3个方面的可行发展方向,尤其指明了当前人工智能在水下图像增强与复原领域中所能发挥的巨大潜力以及实用价值.

改进直方图匹配和自适应均衡的水下图像增强

为了更有效地改善水下图像的颜色,进一步提升图像的对比度和清晰度,提出改进直方图匹配和自适应均衡的水下图像增强方法。以像素均值最大的通道图像的直方图作为基准,对各通道图像分别进行直方图匹配,校正水下图像的颜色偏差;充分利用HSI颜色空间中颜色分量与明度分量的独立性,对明度分量进行自适应的局部直方图均衡化,进一步提升图像的对比度和清晰度。主、客观的实验数据显示,相对于部分现有方法,本文方法对水下图像增强后的视觉效果更优,信息熵、平均梯度、水下图像质量指标(Underwater Image Quality Measures,UIQM)和结构相似性指数(Structural Similarity Index Measure,SSIM)的值更高。因此,本文方法对水下图像具有更有优的增强效果。

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。

基于水下场景先验的水下图像增强方法研究

针对水体光线吸收与散射作用引起的图像模糊、低对比度和颜色失真等问题,提出一种基于水下场景先验的水下图像增强方法。首先利用水下场景的先验知识,结合水下成像物理模型和水下场景的光学特性,利用10种预定义衰减系数合成涵盖不同类型和退化水平的水下图像数据集;然后利用初始残差和密集级联,设计一类轻量级卷积神经网络(convolutional neural networks,CNN)模型增强水下图像,结合基于轻量级的网络结构和有效的训练数据,可减少增强模型的计算量并有效改善水下退化图像的视觉质量;最后采用归一化的后处理过程进一步提升图像增强的效果。仿真实验结果表明,所提方法可行有效,可应用到不同的真实水下场景,具有较强的鲁棒性与有效性。

改进生成对抗网络水下图像增强方法

针对水下图像颜色失真和细节模糊的问题,提出一种基于改进生成对抗网络的水下图像增强方法。该方法将生成对抗网络作为基础架构,生成网络采用编码解码结构,并引入RGB颜色空间块、HSV颜色空间块和注意力机制;RGB块可以更好地去噪和去除偏色,HSV颜色空间可以调整水下图像的亮度、颜色和饱和度,最后生成网络通过分配权重来生成图像。判别网络采用类似马尔科夫判别器的结构。此外,通过构建全局相似和内容感知多项损失函数,使生成的图像在色彩、内容、结构上和参考图像保持一致。实验表明,所提出的方法在主观比较和客观指标上都有很好的表现。其中结构相似度、峰值信噪比、水下彩色质量评估和水下图像质量度量在合成水下图像测试集的平均值分别为0.7746、19.2758、0.4889和3.3124。在真实水下图像测试集的平均值分别为0.9000、24.2636、0.4499和3.1619。在主观评价和客观评价指标上,综合比较,该文算法实验结果均优于对比算法。

分段均匀重分布和对数校正的水下图像增强

为了更有效地恢复水下图像的真实颜色、更好地改善图像的对比度和清晰度,提出了分段均匀重分布和对数校正的水下图像增强方法。用适中的图像强度分别对三通道图像进行强度补偿,对三通道分别进行分段均匀的灰度级重分布,以改善水下图像的颜色和提升图像的对比度;在Lab颜色空间中对亮度分量L进行自适应的对数斜率变换,以进一步改善水下图像的对比度和清晰度。实验结果显示,该方法在颜色恢复、对比度和清晰度的改善上优于部分现有方法,对水下图像增强后,获得更高的信息熵、UIQM和UCIQE值,因此,该方法具有更好的图像增强效果,对水下视觉具有更高的应用价值。

基于像素级水平的通道自适应水下图像增强算法

现有基于深度学习的算法采用编解码方式在高维特征中对水下图像进行增强,没有考虑水下图像的通道差异性退化特点,导致增强效果普遍较差。针对这一问题,提出了一种基于像素级水平的通道自适应水下图像增强算法,将水下图像在像素级分R、G和B三通道进行增强。此算法分4个阶段,通过4个阶段的分通道特征提取完成整个增强过程。首先,通过增强网络的局部和全局语义,优化通道衰减来修复上下文的颜色通道;其次,通过注意机制聚合空间和通道特征,并抑制不相关的颜色定位跳跃信息;然后,通过优化注意力机制调整自适应特征;最后,为提高算法色偏纠正能力,提出了一个色偏纠正模块,在第四阶段使用色偏调节模块进一步调整图像的色偏问题。在UIEB数据集和EUVP数据集上与其他算法进行对比,本文算法的PSNR指标提高了14.35%,SSIM提高了5.8%,UIQM提高了3.2%,UCIQE提高了13.7%,且主观效果最佳。

基于卷积调制与空间协作的水下图像增强

针对光线在水中的散射和吸收效应造成水下图像纹理和结构不清晰的问题,提出一种基于卷积调制(CM)与空间协作(SC)的水下图像增强算法。以编码器-解码器作为基础网络,使用RepVGG的浅层和深层网络分别提取水下图像的纹理和结构特征。首先,特征主导网络将RepVGG中提取到的水下图像特征转化成具有不同尺度的纹理和结构特征,使其与解码器中的特征图进行拼接融合。其次,在编码器中使用卷积调制模块,采用深度可分离卷积(DSConv)模拟自注意力机制的方式减少图像细节信息的丢失,提高编码器特征提取的能力。最后,在解码器中使用空间协作卷积(SCConv),在空间维度上处理水下特征保留更多的位置信息,以提高解码器对融合后特征的增强能力。实验结果表明,该算法在视觉感知与性能指标上优于对比算法,峰值信噪比(PSNR)和结构相似性(SSIM)指标最高达到23.4465 dB和0.8946,水下彩色图像质量评价(UCIQE)和水下图像质量测量(UIQM)指标最高达到0.5826和3.0689,进一步证明了该算法能够有效增强水下图像的纹理和结构特征,具有较好的视觉感知效果。

基于颜色校正和多尺度融合的水下图像增强

为了解决水下图像存在的颜色失真、细节模糊问题,本文算法以Unet网络为基本框架,同时在不同编码层中输入多尺度图像,通过融合上下层间的特征流来获得更优异的细节保持效果,实现了从粗到细的细节提取能力。此外,引入颜色校正模块和双重注意力模块,有效解决了水下图像色偏问题和细节恢复不均匀的问题。实验结果表明,在UFO、EUVP、UIEB数据集上,本文算法增强图像的PSNR和UIQM指标比原始图像平均分别提高了21.3%和25.6%。该算法能有效改善水下图像的视觉质量,在主观视觉和客观评价指标上优于其他算法。

结合Transformer与生成对抗网络的水下图像增强算法

由于水下环境的多样性和光在水中受到的散射及选择性吸收作用,采集到的水下图像通常会产生严重的质量退化问题,如颜色偏差、清晰度低和亮度低等,为解决以上问题,本文提出了一种基于Transformer和生成对抗网络的水下图像增强算法。以生成对抗网络为基础架构,结合编码解码结构、基于空间自注意力机制的全局特征建模Transformer模块和通道级多尺度特征融合Transformer模块构建了TGAN(generative adversarial network with transformer)网络增强模型,重点关注水下图像衰减更严重的颜色通道和空间区域,有效增强了图像细节并解决了颜色偏差问题。此外,设计了一种结合RGB和LAB颜色空间的多项损失函数,约束网络增强模型的对抗训练。实验结果表明,与CLAHE(contrast limited adaptive histogram equalization)、UDCP(underwater dark channel prior)、UWCNN(underwater based on convolutional neural network)、FUnIE-GAN(fast underwater image enhancement for improved visual perception)等典型水下图像增强算法相比,所提算法增强后的水下图像在清晰度、细节纹理和色彩表现等方面都有所提升,客观评价指标如峰值信噪比、结构相似性和水下图像质量度量的平均值分别提升了5.8%、1.8%和3.6%,有效地提升了水下图像的视觉感知效果。

基于注意力机制与特征重建的水下图像增强

针对现有水下图像增强方法缺少对图像中关键目标物体的关注,对图像边缘细节信息的增强效果不佳等问题,提出一种基于注意力机制与特征重建的水下图像增强方法。首先,残差模块联合CBAM(Convolutional Block Attention Module)模块构建超像素图像增强模型,提升水下图像整体质量的同时改善图像中目标物体的清晰度和可视性;然后,设计一种边缘差分模块,使模型关注图像的高频信息,增强图像中目标物体的边缘细节;最后,构建多粒度特征重建模块,重构超像素图像增强模块的隐藏层特征,还原输入图像,进一步优化模型参数。实验结果表明,相比于对比方法,本文模型在SSIM(Structural Similarity)、PSNR(Peak Signal to Noise Ratio)和UIQM(Underwater Image Quality Measures)三个评价指标上均有提升,具备更好的增强性能。尤其在增强水下图像关键目标物体上具有显著的效果。

基于改进EfficientNet的水下图像识别

针对水下图像存在细节模糊、多尺度以及识别模型计算资源大等问题,提出一种改进EfficientNet的图像识别模型。该模型通过迁移学习在公开数据集上训练得到初始模型参数,提出自适应参数化修正线性单元激活函数(Adaptively Parametric ReLU,APRelu)和基于选择性内核网络的注意力(Selective Kernel Network,SK)模块加强处理图像的细节特征和多尺度问题。通过保留所有MBConv6模块中的第一个Layer,并在最后一个MBConv6模块后嵌入BN和APRelu模块,加快其收敛速度并去除冗余特征。使用数据增强、十折交叉验证、快照集成等策略提高模型性能。实验对比表明,该模型在测试集上的准确率达到了97.32%,相对于改进前提高了3.75%,具有较高的识别性能。

基于自适应色彩均衡及改进IBLA的水下图像增强

针对水下环境采集图像和视频存在对比度低、色彩不均衡等颜色失真问题,提出了一种自适应色彩均衡与水下场景深度估计融合的水下图像增强算法。该算法的核心思想由3个步骤组成:首先针对图像色偏严重问题,对色偏严重的通道进行颜色自适应均衡化预处理,以突出纹理特征;其次,根据图像整体的纹理分布特性进行特征提取,并对图像通道进行背景光估计、场景深度估计以及传输系数映射估计;最后,采用场景亮度恢复模型进行特征融合,并基于直方图均衡算法得到水下增强图像。为证明该算法的有效性与先进性,选取真实水下降质图像为处理对象,利用质量评价指标(UIQM)对增强图像进行总体比较。结果表明,该算法有效增强了水下降质图像的清晰度与色彩度,并且清晰地恢复了图像细节。

基于NSST与PCNN的水下图像融合方法研究

针对在海洋环境中采集到的水下图像由于光的散射与吸收作用导致的成像模糊以及退化的问题,提出了一种NSST与PCNN相结合的水下图像融合方法,在改变通道补偿方式的基础上分别进行Gamma校正得到对比度增强图像以及图像锐化处理得到细节信息增强后的图像,将两图像运用NSST变换分别得到低频子带系数和带通子带系数,使用基于区域能量自适应加权融合规则将低频方向子带系数融合;采用带通子带系数作为外部激励,刺激PCNN神经元点火,经脉冲发生区域选用像素较大的脉冲输出,使带通子带系数融合;对融合低频子带系数和带通子带系数分别做NSST逆变换,获得重构图像。通过实验结果以及客观评价可知,WNPF算法解决了水下图像色彩失真的问题,同时图像清晰度得到了提升。

基于硬负样本对比学习的水下图像生成方法

在获取稀缺水下图像时图像生成技术至关重要,通常依赖有序配对数据.考虑到实际海洋环境中获取该类数据受限,引入CL-GAN(Contrastive Learning-Based Generative Adversarial Network),克服图像域双射条件的限制,但由于随机采样的负样本质量较低,模型难以从水下噪声图像中学习复杂内容特征.因此,文中提出基于硬负样本对比学习的特征级生成对抗网络(Hard Negative Sample Contrastive Learning-Based Feature Level Generative Adversa-rial Network,HCFGAN),用于水下图像生成.为了提高负样本质量,提出硬负样本采样模块(Hard Negative Sampling Module,HNS),挖掘样本间的特征相似性,将靠近锚点样本的硬负样本加入对比损失中,学习复杂特征.为了保证负样本的复杂性和全面性,构造负样本生成模块(Negative Sample Generation Module,NSG).通过NSG和HNS的对抗性训练,确保硬负样本的有效性.为了提高模型对水下模糊图像的特征提取能力及训练稳定性,设计上下文特征生成器和全局特征判别器,增强对细微内容特征和水下风格信息的感知能力.实验表明,HCFGAN生成的水下图像具有良好的真实性和丰富性,在水下图像生成实际应用中具有重要价值.

基于改进Deformable-DETR的水下图像目标检测方法

针对由于水下复杂环境造成的目标检测效果较差、检测精度较低的问题,基于Deformable-DETR算法提出一种改进的水下目标检测算法Deformable-DETR-DA。使用空间注意力模块结合标准Transformer块设计了一个用于增加模型深度的深度特征金字塔(deep feature pyramid networks,DFPN)模块,将其嵌入到模型中提高模型对深层纹理信息的提取能力。使用注意力引导的方式对原模型中编码器部分进行改进,加强了对特征信息的聚合能力,提高了模型在复杂环境下的检测能力。针对URPC数据集,模型各交并比尺度的平均准确度(average precision,AP)为39.5%,相比原模型提升1%,与一些DETR(detection transformer)类的模型相比,不同目标尺度的平均准确度均有1%~4%左右的提高,表明改进的模型能够很好解决复杂环境的水下目标检测的问题。本文提出的模型可作为其他水下目标检测模型设计的参考。