基于多尺度梯度域引导滤波的煤矿井下图像增强方法

煤矿井下图像存在较严重的光照不均匀和噪声干扰,现有基于Retinex的方法直接应用于煤矿井下图像增强易出现光晕伪影、边缘模糊、过增强和噪声放大等问题。针对上述问题,提出了一种基于多尺度梯度域引导滤波的煤矿井下图像增强方法。首先,将多尺度思想引入梯度域引导滤波中,实现对非均匀光照的准确估计,有效解决了增强图像时光晕伪影及边缘模糊的问题。然后,利用Retinex模型分离出光照分量和反射分量:对于光照分量,通过自适应伽马校正函数逐像素地修正光照信息,实现对图像暗区域增强的同时,抑制亮区域过增强,并使用限制对比度自适应直方图均衡化方法调整图像对比度;对于反射分量,将梯度域引导滤波与多尺度细节提升相结合,在准确去除噪声后提升纹理细节,避免了增强图像时噪声放大的问题。最后,将处理后的光照分量及反射分量融合,计算图像增益系数,并使用线性色彩恢复方法实现对原始RGB图像的逐像素增强,提升方法处理效率。实验结果表明,从主客观角度与现有方法相比,经所提方法处理后的图像在色彩保持、对比度、噪声抑制、细节保留等方面均取得了较好的增强效果,同时处理效率较高。

一种面向机器视觉感知的暗光图像增强网络

低光照等恶劣环境下的目标检测一直都是难点,低光照和多雾因素往往会导致图像出现可视度低、噪声大等情况,严重干扰目标检测的检测精度。针对上述问题,提出了一个面向机器视觉感知的低光图像增强网络MVP-Net,并与YOLOv3目标检测网络整合,构建了端到端的增强检测框架MVP-YOLO。MVP-Net采用了逆映射网络技术,将常规RGB图像转换为伪RAW图像特征空间,并提出了伪ISP增强网络DOISP进行图像增强。MVP-Net旨在发挥RAW图像在目标检测中的潜在优势,同时克服其在直接应用时所面临的限制。模型在多个真实场景暗光数据上取得了优于先前工作效果并且能够适应多种不同架构的检测器。其端到端检测框mAP(50%)指标达到了78.3%,比YOLO检测器提高了1.85%。

高低频通道特征交叉融合的低光人脸检测算法

低光条件下捕获的人脸图像存在着噪声严重、对比度低等不足,极大影响了现有人脸检测器的准确性,另外,现有的低光图像检测算法欠缺小区域人脸信息的提取能力。为此,提出一种基于深度学习的两阶段人脸检测算法,即利用现有的低光图像增强算法对人脸图像进行增强后再进行检测。为提升检测算法对人脸信息的提取能力,设计一种新型的高低频通道特征交叉融合方法,该方法首先使用高低频通道特征可分离模块分离出不同尺度特征的高低频信息,然后对上述信息进行交叉融合,提升网络提取高频细节信息和低频色域信息的能力,进而提高检测网络的性能。对比试验和消融试验验证了该研究方法的有效性,试验结果表明该方法优于基准方法4.0%mAP。

低光照下基于FPGA+ARM的无线视频监控系统设计

视频监控系统视频处理实时性不高,有线视频监控系统迁移扩展性差、布线繁琐,低光照下视频图像获取质量和处理效果较差,针对以上问题,设计了一种低光照环境下基于FPGA+ARM的无线视频监控系统。首先在FPGA端初始化OV5640摄像头,使其输出RGB888格式的图像数据,图像数据经过格式转换缓存到DDR3中。然后提出基于边缘增强模块的改进RetinexNet图像增强算法,在HSV格式中利用高层次综合(High-level Synthesis,HLS)工具对亮度分量V进行硬件加速,在ARM端对亮度分量S进行线性拉伸,并完成低光照图像增强任务。在此基础上,通过5G WiFi模块发送图像数据,上位机显示器通过5G网络接收图像数据并实现HDMI接口输出。实验结果表明,系统针对昏暗图像改善图像细节,具有良好的显示效果,而且处理一帧图像耗时为136.08 ms,相比ARM和PC机,具有处理速度快、便携性高等优点。

结合空间域和频域信息的双分支低光照图像增强网络

针对低光照图像增强中纹理细节模糊和颜色失真的问题,从空间域和频域信息结合的角度出发,提出一个端到端的轻量级双分支网络(SAFNet)。SAFNet使用基于Transformer的空间域处理模块和频域处理模块在空间域分支和频域分支分别对图像的空间域信息和傅里叶变换后的频域信息进行处理,并通过注意力机制引导两个分支的特征进行自适应融合,得到最终增强的图像。此外,针对频域信息提出一个频域损失函数作为联合损失函数的一部分,通过联合损失函数在空间域和频域都对SAFNet进行约束。在公开数据集LOL和LSRW上进行实验,在LOL上,SAFNet在客观指标结构相似性(SSIM)和学习感知图像块相似度(LPIPS)两项指标上分别达到0.823和0.114;在LSRW上,峰值信噪比(PSNR)和SSIM分别达到17.234 dB和0.550,均优于LLFormer(Low-Light Transformer)、IAT(Illumination Adaptive Transformer)、KinD(Kindling the Darkness)++等主流方法,且网络参数量仅为0.07×10^(6);在DarkFace数据集上,使用SAFNet作为预处理步骤对待检测图像进行增强,可以使人脸检测平均精确率从52.6%提升至72.5%。实验结果表明,SAFNet能有效提高低光照图像的质量,并能显著改善下游任务低光照人脸检测的性能。

基于多尺度梯度域引导滤波的弱光照图像增强技术

光照较弱会导致图像出现颜色失真以及部分图像细节消失等问题,提出了基于多尺度梯度域引导滤波的弱光照图像增强方法。对弱光照图像进行多尺度梯度域引导滤波图像增强和Gamma校正,将BIQME作为目标函数,将主观图像增强问题转换为最优解问题,采用改进鸡群算法对目标函数优化求解,获取图像增强所需要的最优多尺度梯度域引导滤波参数和色调平衡参数,最终达到弱光照图像增强的目的。实验测试结果表明,所提方法可以增强弱光照图像的同时,改善弱光照图像质量和提升图像处理速度,图像处理速度控制在0.85 s以内。

基于云计算平台加速的时频域结合图像增强方法

不充分的光照会使图像细节损失严重,降低图像视觉质量,严重影响图像的各项下游任务,如目标检测、分类和识别等。因此,如何针对低照度图像进行增强,是机器视觉领域研究的热点。现有方法都是基于时域设计的,没有基于更接近人类视觉系统、信息表征能力更强的频域,增强效果一度停滞不前。针对这一问题,以提升图像增强效果为目标,将时域原图像的频域信号进行编码、映射和增强,提出了一种包含全新频域图像增强模块的时频结合低照度图像增强(Low Light Image Enhancement, LLIE)网络。同时,为了加快上述深层网络的训练速度,提出了一种基于云计算平台的专有加速模块,从系统架构的角度对网络训练进行加速。实验结果表明,所提算法增强后的图像不但比其余方法拥有更优异的客观指标、更好的主观视觉效果,同时也拥有比传统计算平台更快的训练速度。

像感域(Raw域)底层视觉重建技术进展

底层视觉重建技术旨在在受限的成像条件下重建高质量图像/视频,对后续视觉处理与呈现具有重要意义。由于像感域数据(raw data)具有高位宽、与感光量成线性响应等特点,近年来基于像感域的视觉重建技术在学术界和工业界获得的关注日益提高。本文聚焦于6种代表性视觉重建任务,包括低光增强与去噪、超分辨率、高动态范围重建、去摩尔纹、多任务联合重建以及数据生成,重点综述了深度学习驱动的像感域视觉重建领域的进展:系统地总结了领域代表性方法,概述各类方法的优势与局限,分析了不同任务中像感域数据相较于颜色域数据(经降噪、去马赛克、白平衡、色调映射和颜色空间转换(如RGB、sRGB等)等处理之后的数据)的独特属性与优势;梳理了各个领域的开源数据集,包括图像数据集、快速连拍数据集以及视频数据集,总结了数据集的构造方法以及配对数据的空间/时间对齐策略,为后续研究的数据集创建提供了参考与指引;总结了现有方法存在的问题与困境,展望了像感域底层视觉重建的发展趋势。

低照度视频图像增强算法综述

图像传感器在光照不足的环境下成像,会造成视频图像噪声大、对比度低、大量细节信息无法表现等问题,这些不足严重影响人们对视频图像内容的判读和理解。分析了低照度视频图像的不足,总结了近年来针对这些不足提出的有代表性的一些低照度视频图像增强策略及它们的衍生算法。根据这些算法的亮度增强原理将它们分为基于色调映射、背景融合、模型、直方图等几大类,并对比分析了它们各自的适用场合、算法优势、局限性等。

微光图象实时模拟累加及其应用

该文提出了实时模拟多帧累加技术，利用像增强ＣＣＤ的电荷存贮与转移功能，直接在ＣＣＤ电荷包中完成图象信号电荷的累加。该技术已应用于微光ＣＣＤ摄像机，能够在极低环境照度下获得清晰的微光图象。文中详细叙述了模拟多帧累加技术的原理与系统结构，并对处理结果进行分析。

低照度视频图像自适应补偿增强的设计与实现

针对低照度环境下视频图像对比度低、难以识别的问题,提出对比度自适应补偿增强算法。首先,提取低照度环境下视频图像特征参数的平均灰度,根据原始图像的灰度级差异建立人类视觉对比度分辨率补偿的数学模型,并对真彩色三原色分别采用比例积分补偿。然后,当补偿程度低于明视觉恰可分辨差异时,设置补偿阈值线性补偿明视觉至满带宽。最后,结合主观图像质量评价和图像特征参数建立补偿比例系数的自动寻优模型,并把该模型嵌入到Directshow视频处理系统,应用于视频图像自适应增强。实验测试结果表明,补偿增强系统的实时性好,可以有效挖掘暗视觉信息,能够广泛应用于不同场景。

结合平滑扩展卷积网络与注意力机制的低照度图像增强

近几年,卷积神经网络在低照度图像增强方向取得了显著成果.然而,现有的大多数基于传统卷积神经网络的低照度增强模型效果受限于卷积中卷积核感受野是局部的,且池化层的应用使很多有价值的特征信息丢失.为了解决这些问题,提出了一种端到端低照度图像增强网络.首先,运用平滑扩展卷积层和Convolutional Block Attention Module(CBAM)注意力机制分别对图像进行特征提取;然后,通过拼接操作进行多层次特征融合;最后,多通道特征被送入到残差网络构成的重构网络,生成最终的增强图像.此外,采用复合损失函数对低照度图像数据集进行训练.实验结果表明,通过该方法,可以更好地实现图像多通道特征提取,主观视觉上提高了图像的亮度和对比度,更加符合人眼的视觉系统特性,与目前主流的图像增强方法相比,提出网络的平均客观图像质量指标PSNR、SNR在测试集上都优于其他算法.

基于全局-局部生成对抗学习的无监督弱光图像增强

在弱光图像增强中,现有的无监督方法仍存在着真实性不足以及对于极暗条件的图像增强效果不明显等问题.为此,提出了一种无监督的弱光图像增强方法,通过设计一种高效循环生成对抗网络,直接从弱光图像中恢复出正常光照图像.首先,为解决大尺寸输入导致的内存不足的问题,设计了全局-局部生成器;其次,判别器设计为自适应二阶段分类器,通过判别全局区域来自适应定位需再次判别的局部区域;最后,采用了焦点频域损失函数,使模型自适应地聚焦于分类难以合成的频率波段,以避免生成图像失真.文中方法在NPE,LIME,MEF,DICM和VV数据集上的感知指标(perceptual index,PI)分别达到了2.81,2.78,2.40,3.15和3.69,在LOL数据集上PSNR和SSIM指标分别达到了19.89 dB和0.7823,具有良好的鲁棒性.