基于LMIENet图像增强的矿井下低光环境目标检测方法

煤矿井下工作环境复杂,存在人造光源亮度低、粉尘多和水气密度大等不利因素,导致现有的目标检测算法在应用到煤矿井下时,存在提取特征困难、目标识别和定位精度低等问题。提出一种煤矿井下低照度环境目标检测算法,由矿井低光图像增强模块LMIENet和目标检测模块组成,使用图像增强模块对原始图像进行画质提升,恢复各类图像信息,再使用目标检测网络对增强图像进行特定目标检测,有效提高检测的精确度。在图像增强模块中,改进Zero-DCE算法设计轻量级增强参数预测网络,计算像素级增强参数矩阵,用于低光照图像的亮度调整和画质增强,该网络通过设计的非参考损失函数隐性衡量图像的增强效果,引导网络进行无监督学习,使网络能够不依赖配对数据集对原始图像进行自适应的画质增强。目标检测模块中,采用YOLO v8n目标检测模型,其轻量化的模型尺寸和高灵活性可避免模型整体复杂度过高;采用Focal-EIoU Loss改进回归损失函数,有效加速模型收敛并提升模型检测精度。实验结果显示:与经典目标检测算法Faster R–CNN,SSD,RetinaNet,FCOS等相比,提出算法在自建矿井人员数据集上表现出色,低光照环境下目标检测的mAP@0.5达到98.0%,mAP@0.5∶0.95达64.8%,在实验环境中单帧图像推理时间仅11 ms,优于其他对比方法,证明提出算法能够有效实现在煤矿井下低照度复杂环境下的目标检测,且耗时短、计算效率高。

基于对抗生成的轻量化红外图像增强网络

目前,红外成像技术在医学、安保、环境监测、军事探测等方面获得了广泛应用。然而,由于低成本红外成像设备的固有缺陷及大气环境对热辐射传导的影响,导致其采集的图像亮度较暗、细节模糊、对比度低,影响后续图像语义分析及目标检测识别等任务。传统基于模型的红外图像增强方法常需利用图像先验信息,模型参数与场景相关,模型泛化能力不强;基于深度学习的红外图像增强算法有助于增强红外图像质量,但结构冗余,不利于边缘端部署。生成对抗网络(GAN)可以通过判别器和生成器两个网络的轮流对抗训练显著提升红外图像增强效果,但网络训练参数量大,边缘端部署占用资源多,运算复杂度高。本文设计了一种基于对抗生成的轻量化红外图像增强网络,通过在GAN模型的基础上增加多层次特征融合结构并设计多尺度损失函数,提升了特征提取效率并减少了网络层数,在提升图像质量的同时提高了增强效率,利于算法的边缘端部署。实验表明,本文方法在同等参数量下,通过添加多层次特征融合结构和多尺度损失函数,兼顾了图像的全局和局部特征,保证了细节信息不丢失,在提高网络性能的前提下未明显增加计算复杂度;在红外图像增强效果相当的情况下,模型参数量降低75.0%,边缘端设备推断时间降低32.07%。

基于改进U-Net的水下图像增强算法

针对水下退化图像存在颜色失真、模糊雾化、对比度低等问题,提出了一种新的基于改进U-Net的水下图像增强算法。设计一种新的残差注意力结构和边缘检测模块并将其引入到U-Net网络中,构建改进后的水下图像增强算法。实验结果表明,本文提出的算法在校正水下色偏和增强对比度方面均得到了很好的效果,IE值较原始图像平均提高了14.2%,UCIQE值较原始图像平均提高了24%。消融实验结果表明,本文提出的残差注意力结构、边缘检测模块和损失函数均对水下图像增强起到了积极的效果。

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。

基于HSV空间的煤矿井下低光照图像增强方法

针对煤矿井下采集到的图像对比度低、光照不均和细节信息弱等问题,提出一种基于色相-饱和度-明度(Hue-Saturation-Value,HSV)颜色空间的煤矿井下低光照图像增强方法。该方法基于图像的HSV空间,通过对低光照图像的亮度通道V通道的主要结构和边缘细节分别进行对比度增强,这样可以更好地抑制图像细节丢失,同时可以较好地再现原图中的轮廓和纹理细节。首先,将输入的煤矿井下低光照图像转换到HSV空间,利用相对全变分滤波(RTV)与改进的边窗滤波(SWF),分别对提取的V通道图像进行主要结构提取和轮廓边缘保留,对其非线性灰度拉伸后利用主成分分析融合技术(PCA)重构V通道图像,即融合V通道图像的主要结构和精细结构,最后合成图像,完成图像增强。通过实验验证,提出的基于HSV空间的煤矿井下低光照图像增强方法,在色彩和边缘模糊处理等方面表现良好,在煤矿井下工作面等环境中,对图像进行定量和定性实验,结果表明,与6种方法相比,增强图像的对比度、自然度和图像细节方面表现更好。

基于CLAHE-PCA的矿井低照度图像增强研究

地下矿山巷道环境往往面临光线不足,难以通过获取其暗通道图像判断岩体剥落等异常情况。针对矿井巷道暗通道图像对比度低的问题,提出了一种基于CLAHE-PCA的图像增强算法。首先使用CLAHE算法将获取的矿井巷道原始暗通道图像做对比度增强处理,然后使用自适应Gamma算法对亮度低的图像予以增加对比度矫正;将矫正后获得的灰度图转为RGB图像,通过PCA对其进行平滑处理,以便更多地还原暗通道图像的细节。以峰值信噪比、结构相似性、平均梯度和信息熵等作为评价指标,对试验结果进行验证。结果表明:该方法能够有效处理低对比度的矿井巷道图像,处理后的图像结构相似性达到93%,鲁棒性强,同时能够更多地还原图像的细节。

从局部到全局的零参考低照度图像增强方法

为解决现有的低照度图像增强方法存在的色彩失真、细节损失以及暗区增强不足和亮区增强过度导致低照度图像增强效果不理想的问题,提出了一种从局部到全局的零参考低照度图像增强方法。采用局部照度增强对低照度图像进行像素级增强,改进了自适应光照映射估计函数,提升了照度调整能力,避免了生成大量的迭代参数,提高了模型的推理速度;采用基于Transformer结构的全局图像调整对局部增强后的图像进行全局调整,解决了亮区照度增强过度的曝光问题和暗区照度增强不足的问题,提升了图像的整体对比度;优化损失函数,对低照度图像特征和增强图像特征进行相似性约束,提升了目标检测精度。实验结果表明,LOL数据集上的客观指标峰值信噪比和结构相似性达到了20.18 dB和0.80,MIT-Adobe FiveK数据集上达到了23.31 dB和0.87,ExDark数据集上增强后图像的目标检测精度提高了7.6%,有效提升了低照度图像可视化质量和目标检测效果。

随钻电成像仪器磁流激励仿真和图像增强方法

提出采用磁流替代环形线圈激励源方法模拟随钻电成像仪器(REIT)响应,在考察随钻电成像测井仪器的探测特性基础上进行环境校正方法研究,旨在获得清晰度增强图像。考虑偏心距、地层电性参数、井眼参数变化,建立仪器响应函数库,利用查库方法反演偏心距并对图像进行井眼环境校正和软件聚集增强处理,实现提高图像质量目的。结果表明,采用本文给出的方法可以对仪器原始采集的电信号进行井眼环境校正和图像增强,对提高图像质量、消除井眼环境对测量影响具有良好效果,在成像测井地层评价、随钻电成像地质导向应用中都具有重要意义。

LEGAN:一种新的暗弱光照图像增强算法

针对暗弱光照图像所存在的亮度、对比度、信噪比低,以及噪声污染大等问题,提出了一种新的暗弱光照图像增强算法LEGAN。该算法将图像输入至所提伽马曲线估计网络求得包含伽马参数的特征图,再经过LEB模块增强亮度,并通过级联LEB的方式迭代增强结果。采用基于PatchGAN的全局-局部判别器结构来提高图像分辨率和恢复图像细节。通过引入感知损失来限制真实标签和输出结果之间的差距,利用照明平滑度损失保持相邻像素之间的单调性关系,同时结合空间一致性损失来增强图像的空间相关性。实验结果表明,相比于现今大多数主流增强算法,该算法的细节还原度相对较高,且能有效避免增强后的图像出现局部亮度不佳等问题。

基于多尺度梯度域引导滤波的煤矿井下图像增强方法

煤矿井下图像存在较严重的光照不均匀和噪声干扰,现有基于Retinex的方法直接应用于煤矿井下图像增强易出现光晕伪影、边缘模糊、过增强和噪声放大等问题。针对上述问题,提出了一种基于多尺度梯度域引导滤波的煤矿井下图像增强方法。首先,将多尺度思想引入梯度域引导滤波中,实现对非均匀光照的准确估计,有效解决了增强图像时光晕伪影及边缘模糊的问题。然后,利用Retinex模型分离出光照分量和反射分量:对于光照分量,通过自适应伽马校正函数逐像素地修正光照信息,实现对图像暗区域增强的同时,抑制亮区域过增强,并使用限制对比度自适应直方图均衡化方法调整图像对比度;对于反射分量,将梯度域引导滤波与多尺度细节提升相结合,在准确去除噪声后提升纹理细节,避免了增强图像时噪声放大的问题。最后,将处理后的光照分量及反射分量融合,计算图像增益系数,并使用线性色彩恢复方法实现对原始RGB图像的逐像素增强,提升方法处理效率。实验结果表明,从主客观角度与现有方法相比,经所提方法处理后的图像在色彩保持、对比度、噪声抑制、细节保留等方面均取得了较好的增强效果,同时处理效率较高。

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

用于实时图像增强的灰度等间距密度均衡改进算法

实时图像的增强处理,除了保证单帧图像具有较高的对比度,还应考虑处理算法的实时性和图像序列间增强效果的连贯性。灰度等间距密度均衡算法通过去除冗余灰度级后进行有效灰度级等间距重排,可以有效增强图像对比度。本文以灰度等间距密度均衡增强算法为基础,对其有效灰度级有效阈值选取、过度增强等问题进行了相应改进,以满足连续图像序列的实时增强处理需求。实验结果表明,改进算法可以有效避免图像局部变化对整体增强效果的影响。对于1920×1080分辨率的图像,单帧处理时间约为32 ms。本改进算法对于连续图像序列具有良好的增强效果,且能够较好地满足实时图像增强对于连贯性、实时性、鲁棒性的处理需求。

利用自适应光照初始化的弱光图像增强方法

由于光照分量分解估计的高度不确定性,如何准确估计图像的光照分量一直是基于Retinex模型的图像增强方法需要解决的难题。该文提出一个简单有效的方法,准确估计图像的初始光照分量,进而实现弱光图像增强。具体地,首先根据输入图像得到其对应的光照权重矩阵,以指导光照分量的自适应初始化估计;随后在光照结构约束下,对初始光照分量优化估计,并进一步执行非线性光照调整;最终结合Retinex模型得到增强结果。实验表明,该方法不仅能够实现准确的图像分解估计,而且与现有的弱光图像增强方法相比,该文所提方法在多个数据集上的主观视觉效果和客观评价指标都有更好的表现,同时也保持着良好的运行效率。

基于EnlightenGAN图像增强的自然场景下苹果检测方法

自然光照下阴影会降低采摘机器人视觉系统对苹果目标的准确感知能力,导致采摘效率低。本研究采用EnlightenGAN算法进行图像增强,以实现阴影的去除和苹果目标检测精度的提升。首先通过图像光照归一化处理得到自正则化注意力图,达到图像阴影检测的目的,再采用注意力引导的U-Net作为生成器骨干网络得到增强后的图像,然后通过全局-局部判别器来比对图像信息,最终在生成器和判别器的对抗中达到图像质量增强的效果。为了进一步检验该方法的阴影去除效果,分别采用EnlightenGAN、Zero_DCE、Adaptive_GAMMA、RUAS等算法在MinneApple公共数据集上进行试验验证。结果表明,EnlightenGAN算法均方误差较Zero_DCE、Adaptive_GAMMA、RUAS算法分别降低19.21%、59.47%、67.42%,峰值信噪比增加6.26%、34.55%、47.27%,结构相似度提高2.99%、23.21%、68.29%。同时,在对果园拍摄的苹果图像进行标注后,将其送入YOLO v5m目标检测网络进行苹果检测训练。并对EnlightenGAN算法增强前后的苹果图像进行了测试,图像增强前后检测精确率分别为97.38%、98.37%,召回率分别为74.74%、91.37%,F1值分别为84%、94%,精确率、召回率和F1值分别提升1.02%、22.25%、11.90%。为证明模型有效性,对不同数据集进行了试验,结果表明EnlightenGAN算法增强后的目标检测精确率、召回率和F1值较无增强算法及Zero_DCE、Adaptive_GAMMA、RUAS算法有显著提升。由此可知,将EnlightenGAN算法应用于苹果采摘机器人的视觉系统,可以有效克服果园图像光照不均以及存在阴影的影响,提升果实目标检测性能。该研究可为自然条件下复杂光照环境中的果实检测提供借鉴。

基于卷积调制与空间协作的水下图像增强

针对光线在水中的散射和吸收效应造成水下图像纹理和结构不清晰的问题,提出一种基于卷积调制(CM)与空间协作(SC)的水下图像增强算法。以编码器-解码器作为基础网络,使用RepVGG的浅层和深层网络分别提取水下图像的纹理和结构特征。首先,特征主导网络将RepVGG中提取到的水下图像特征转化成具有不同尺度的纹理和结构特征,使其与解码器中的特征图进行拼接融合。其次,在编码器中使用卷积调制模块,采用深度可分离卷积(DSConv)模拟自注意力机制的方式减少图像细节信息的丢失,提高编码器特征提取的能力。最后,在解码器中使用空间协作卷积(SCConv),在空间维度上处理水下特征保留更多的位置信息,以提高解码器对融合后特征的增强能力。实验结果表明,该算法在视觉感知与性能指标上优于对比算法,峰值信噪比(PSNR)和结构相似性(SSIM)指标最高达到23.4465 dB和0.8946,水下彩色图像质量评价(UCIQE)和水下图像质量测量(UIQM)指标最高达到0.5826和3.0689,进一步证明了该算法能够有效增强水下图像的纹理和结构特征,具有较好的视觉感知效果。

金字塔渐进融合低照度图像增强网络

针对现有低照度图像增强网络对不同尺度特征信息存在感知与表达能力不足的问题,提出金字塔渐进融合低照度图像增强网络模型。网络对图像进行多次下采样操作以组成特征金字塔,通过在特征金字塔的三个不同分支上加入跳跃连接,将不同尺度的特征图进行相互融合。通过精细恢复模块进一步提取精炼信息,将特征图恢复到正常的光照图像。结果表明,该网络模型不但能有效地提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,同时能够有效地抑制图像中的暗部噪声,使增强后的图像整体画面真实自然。

基于CRTNet的低照度图像增强方法

针对低照度环境下获取的图像与颜色失真问题,该文结合了通道注意力和空间注意力的机制,提出了一种基于颜色还原Transformer网络(color restoraration Transformer networks, CRTNet)的低照度图像增强方法。CRTNet由颜色注意力模块(color attention module, CAM)、颜色映射模块(color map module, CMM)和顺序增强结构组成。首先,CAM分为颜色通道注意力模块和颜色空间注意力模块两部分,利用Transformer的全局信息捕捉能力,颜色通道注意力模块关注有意义的颜色通道并赋予更高权重,生成通道注意力向量,颜色空间注意力模块使用三层卷积结构,关注高维空间中的空间细节信息,生成空间注意力权重图;其次,CMM通过线性拟合过程提取图像高维特征,对64D空间中的特征进行通道和空间两个维度的缩放和平移获得图像全局信息和细节信息,并与原始图像特征相结合,补充原始图像特征中颜色、亮度、对比度和细节等信息,实现颜色增强;最后,采用顺序增强结构,将CMM的输出作为输入重复进行3次CAM和CMM操作,以拟合更高阶的函数映射,实现低照度图像的有效增强。对公共数据集的实验和用户研究表明,所提方法在定量测量、细节与颜色复原方面取得了最好的结果。

基于像素级水平的通道自适应水下图像增强算法

现有基于深度学习的算法采用编解码方式在高维特征中对水下图像进行增强,没有考虑水下图像的通道差异性退化特点,导致增强效果普遍较差。针对这一问题,提出了一种基于像素级水平的通道自适应水下图像增强算法,将水下图像在像素级分R、G和B三通道进行增强。此算法分4个阶段,通过4个阶段的分通道特征提取完成整个增强过程。首先,通过增强网络的局部和全局语义,优化通道衰减来修复上下文的颜色通道;其次,通过注意机制聚合空间和通道特征,并抑制不相关的颜色定位跳跃信息;然后,通过优化注意力机制调整自适应特征;最后,为提高算法色偏纠正能力,提出了一个色偏纠正模块,在第四阶段使用色偏调节模块进一步调整图像的色偏问题。在UIEB数据集和EUVP数据集上与其他算法进行对比,本文算法的PSNR指标提高了14.35%,SSIM提高了5.8%,UIQM提高了3.2%,UCIQE提高了13.7%,且主观效果最佳。

基于结构纹理分解的矿井图像增强方法

矿井下存在低照度、多灰尘现象,导致监控视频采集的图像具有光照不均、模糊及细节丢失的问题,影响后续智能图像识别,现有矿井图像增强方法普遍存在图像纹理细节不清晰、视觉效果差的问题。提出了一种基于结构纹理分解的图像增强方法。首先,利用maxRGB算法对原始图像提取初始光照分量,接着构建优化目标函数,依次优化求解初始光照分量中的结构分量、纹理分量及噪声分量:先对初始光照分量进行加权引导滤波,作为先验约束,迭代获得边缘清晰的结构分量;再结合最大邻域差方法和加权平均局部变分构建局部变化偏差函数,作为约束权重,迭代得到细节丰富的纹理分量。然后,将原始图像转换到HSV颜色空间,提取出原始图像的亮度分量,并结合结构分量、纹理分量及噪声分量,利用Retinex理论进行重构,得到增强后的初始亮度分量。为避免亮度过增强,引入带有截断因子的自适应伽马校正(AGCWD)处理图像初始亮度信息,以获得最终的亮度分量。最后,将图像转换到RGB颜色空间,得到增强图像。实验结果表明:①基于结构纹理分解的图像增强算法能保证图像边缘纹理细节更加清晰,减少了图像增强过程中的光晕伪影,且增强后的图像灰度直方图更均衡。②与结构纹理感知Retinex(STAR)算法、联合内外先验(JieP)算法、加权变分模型(WVM)、半解耦分解(SDD)算法、带色彩恢复的多尺度Retinex(MSRCR)算法等5种图像增强算法相比,基于结构纹理分解的图像增强算法的自然图像质量评价指标(NIQE)分别降低了8.69%,29.05%,11.2%,29.53%,33.54%,视觉质量保真度(VIF)分别提高了91.17%,117.86%,59.38%,48.78%,183.12%,信息熵指标(Entropy)分别提高了3.20%,8.02%,4.07%,3.49%,22.68%。③基于结构纹理分解的图像增强算法运行时间仅长于MSRCR算法,但增强效果更好,能够满足矿井下图像增强的需求。

基于颜色校正和多尺度融合的水下图像增强

为了解决水下图像存在的颜色失真、细节模糊问题,本文算法以Unet网络为基本框架,同时在不同编码层中输入多尺度图像,通过融合上下层间的特征流来获得更优异的细节保持效果,实现了从粗到细的细节提取能力。此外,引入颜色校正模块和双重注意力模块,有效解决了水下图像色偏问题和细节恢复不均匀的问题。实验结果表明,在UFO、EUVP、UIEB数据集上,本文算法增强图像的PSNR和UIQM指标比原始图像平均分别提高了21.3%和25.6%。该算法能有效改善水下图像的视觉质量,在主观视觉和客观评价指标上优于其他算法。