一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法

受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。

联合多视角Transformer编码与在线融合互学习的乳腺癌病理图像分类模型

乳腺癌是女性最常见的癌症.单一网络在乳腺癌病理图像分类中存在缺陷,卷积神经网络无法提取全局上下文,而Transformer不能准确描述局部细节.本文提出联合多视角Transformer编码与在线融合互学习的乳腺癌病理图像分类模型(Multi-View Transformer Online Fusion Mutual Learning,MVT-OFML).采用ResNet-50(Residual Network-50)提取图像局部特征,设计多视角Transformer编码模块,捕获图像中全局上下文;联合Logits和中间特征层构建OFML框架,实现ResNet-50与多视角Transformer编码模块间双向传递知识,使2个网络优势互补以完成乳腺癌病理图像分类.实验表明,在BreakHis和BACH数据集上,MVT-OFML的准确率比最强基线分别提升0.90%和2.26%,F1均值比最强基线分别提升4.75%和3.21%.

多色彩通道特征融合的GAN合成图像检测方法

当前,生成对抗网络(Generative Adversarial Networks,GAN)合成的逼真图像难以识别,严重危害国家网络安全及社会稳定.与此同时,多数基于深度神经网络模型设计的检测器需要大规模训练样本,且存在模型可解释度不高、泛化性能差等问题.为了克服上述亟待解决的关键性难题,本文提出一种多色彩通道特征融合的GAN合成图像检测方法.首先,探索分析真实自然图像和GAN合成图像在不同色彩空间相邻像素之间的差异,并设计差异度量算法,完成色彩通道选择.其次,利用图像像素间的高度相关性,在八个方向上通过二阶马尔可夫链对相邻像素之间的差分数组进行建模,提取差分像素邻接矩阵特征.最后,利用上述特征,设计一种简单且高效的集成分类器完成GAN合成图像的检测任务.在基于StyleGAN模型合成的伪造人脸数据集中,所提出方法的检测准确率高达100.00%;在小样本训练约束条件下,正负样本对数仅仅为2时,检测准确率高达99.65%;在单类样本训练约束条件下,正样本数仅仅为50时,检测准确率高达92.84%.在基于更先进的StyleGAN2和PGGAN模型合成的伪造场景数据集中,所提出方法的检测准确率达到99.96%以上.以上大量实验表明,本文所提出的方法明显优于比较的GAN合成图像检测方法.本文方法已经开源:https://github.com/cyxcyx559/ccss.

基于图像融合和双通道卷积神经网络的配电网故障选线方法研究

针对传统的配电网故障选线方法受限于单一的故障诊断模型,提出一种基于图像融合和双通道卷积神经网络的配电网故障选线方法。研究目的是解决现有方法在面对高阻接地、噪声干扰、分布式电源接地、采样时间不同步等复杂工况时的准确性问题。首先,利用格拉姆角和场和格拉姆角差场将零序电流信号转成易于区分故障的二维图像,为图像处理提供了基础。其次,通过图像融合技术将GASF图像和GADF图像进行空间域图像融合,得到一张综合特征图像,充分利用了不同图像的特征,提高了特征表达的丰富性和有效性。接着,构建双通道卷积神经网络模型,其中一维卷积神经网络和ResNet50网络分别用于挖掘零序电流信号和格拉姆角场图像的特征。这种设计充分发挥了不同卷积神经网络在处理一维信号和二维图像时的优势。最后,将融合后的特征输入到Sigmoid函数实现故障线路的筛选。实验结果表明,该方法在各种复杂工况下的表现均优于传统方法,其准确率、Kappa系数、马修斯相关系数、召回率分别达到了99.97%、0.9993、0.9993、0.9995。这些结果表明,该方法不仅具有较高的准确性,还具有良好的鲁棒性和稳定性,能够有效应对高阻接地、噪声干扰、分布式电源接地和采样时间不同步等实际应用中的挑战。提出的方法为配电网故障选线提供了一种新颖且高效的解决方案,具有重要的实际应用价值和广泛的推广前景。

融合暗通道与Retinex算法的水下图像复原研究

针对水下图像存在细节模糊和色彩失真等问题,基于水下光学成像模型,提出了一种融合暗通道先验和Retinex的方法。首先为避免场景中亮白区域影响,提出一种基于四叉树分解方法改进对背景光的估计,进一步分通道对透射率进行估计,引入自适应容差补偿机制,根据图像区域的明亮程度自适应修正透射率,并利用改进的导向滤波细化透射率,消除了图像块效应,利用优化的暗通道先验算法对图像进行清晰化处理得到复原图像;其次用Retinex算法提高水下图像对比度以及校正颜色畸变;然后依据复原图像与Retinex算法增强图像的特点进行像素级融合,最终得到复原后的水下图像。为定量评价复原算法,选取了信息熵、平均梯度和UIQM定量化评价因子。实验结果表明,所提算法在主观及客观评价方面均优于对比算法,为后续水下目标探测提供了研究基础。

一种多尺度融合改进暗通道先验图像去雾算法

为了解决暗通道先验去雾算法在处理图像时容易出现边缘模糊、高亮区域容易生成光晕以及过饱和等问题,本文提出了一种多尺度融合的改进暗通道先验图像去雾算法。该算法通过检测图像将图像边缘进行逐像素的估计运算,非边缘区域进行逐块的估计运算,使得去雾图像边缘的伪影减弱;同时融合暗通道先验与颜色衰减先验的方法,在RGB通道赋予3个不同的衰减系数计算暗通道先验求出的前景透射率估计图;最后通过大气散射模型复原出以Sigmoid函数融合天空区域和前景区域的无雾图像。实验结果表明,边缘伪影有了很明显的降低,并且高亮区域产生光晕也有了明显的改善。客观对比其他实验,本文所提出的算法展现出更高的效率和适用性。

多尺度融合图像去雾方法

图像去雾能够使视觉系统适应不同的天气状况.为克服传统暗通道先验方法会在物体边界区域形成光晕效应的问题,提出一种用于估计有雾图像透射率的多尺度融合算法.应用不同大小的最小值半径得到多尺度的透射率估计值,再根据局部区域像素具有类似的透射率值这一现象,对透射率图进行多尺度融合,选择小透射图区域中最亮的像素来计算大气光值,最后使用大气散射模型恢复清晰图像.分别从视觉效果和量化指标两个方面,对比所提方法与传统的基于先验和基于深度学习的去雾方法在进行图像去雾后的效果.结果发现,针对4种典型场景,采用本研究算法去雾后的重构图像能够保留更多的结构、细节和颜色信息,避免了过分增强和边缘部分的雾残留问题,视觉效果均优于对比方法;量化指标峰值信噪比和结构相似性均高于对比方法,分别为15.65和0.78.

双通道深度图像先验降噪模型

相对于采用固定网络参数值的有监督深度降噪模型而言,无监督的深度图像先验(Deep Image Prior,DIP)降噪模型更具灵活性和实用性.然而,DIP模型的降噪效果远低于有监督降噪模型(尤其是在处理人工合成噪声图像时).为进一步提升DIP降噪模型的降噪效果,本文提出了双通道深度图像先验降噪模型.该降噪模型由噪声图像预处理、在线迭代训练和图像融合3个模块组成.首先,利用BM3D和FFDNet两种经典降噪方法对给定的噪声图像进行预处理,得到2张初步降噪图像,然后,将原DIP单通道逼近目标图像架构拓展为双通道工作模式.其中,第一通道以FFDNet初步降噪图像和噪声图像为双目标图像,第二通道则以BM3D预处理图像和噪声图像为双目标图像.在此基础上,按照标准的DIP在线训练方式让DIP网络输出图像在两个通道上分别逼近各自的目标图像,同时依据基于边缘能量定义的伪有参考图像质量评价值适时终止迭代过程,从而获得2张中间生成图像.最后,使用结构化图块分解融合算法将两张中间生成图像融合并作为最终的降噪后图像.实验数据表明,在合成噪声图像上,本文提出的双通道深度图像先验降噪模型在各个噪声水平上显著优于原DIP及其他无监督降噪模型(提升了约2.2 dB),甚至逼近和超过了新近提出的主流有监督降噪模型,这充分表明了本文提出的改进策略的有效性;在真实噪声图像上,本文提出的降噪模型优于排名第二的对比降噪方法约2 dB,展现出其在实际应用场景下独有的优势.

多层特征融合与语义增强的盲图像质量评价

针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L_(1)损失函数和三元组排名损失函数进行融合,构建新的损失函数L_(mix)。为了验证本文方法的有效性,在野生图像质量挑战数据集上进行了验证和对比实验,该算法的斯皮尔曼等级相关系数与皮尔逊线性相关系数指标相比原算法分别提升2.3%和2.3%;在康斯坦茨真实图像质量数据数据集和野生图像质量挑战数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

基于暗通道先验的多尺度融合去雾算法

针对传统暗通道先验(DCP)算法用于图像去雾时存在对比度下降、色调偏暗和过度曝光的问题,论文提出一种基于暗通道先验的多尺度融合去雾算法。首先,该算法使用图像增强暗部细节后采用阈值分割法将类似白色背景区域进行分离;然后对大面积留白背景和其他区域分别做最亮通道取反去雾处理和导向暗通道去雾处理,将去雾处理后的两部分图像进行初始融合,有效地改善了暗通道先验在大尺度高亮区域的不适用性;最后,使用拉普拉斯金字塔的多曝光融合方法,将上述去雾处理后的两幅图像、初始融合图像以及对有雾图像做导向暗通道处理后的图像进行多尺度像素级融合,获得最终去雾效果图。仿真结果表明,该算法能够有效消除传统DCP算法在处理大范围、高亮度天空区域时产生的失真现象,改善目标边缘细节,恢复图像场景的真实色彩。

结合Otsu阈值优化和多尺度融合的海上图像去雾算法

针对在处理海上图像时暗通道先验去雾算法对天空区域不适用以及复原图像易出现色偏的问题,提出一种结合天空区域分割与多尺度透射率融合的海上图像暗通道去雾算法。采用灰度和双边滤波预处理图像,基于大津算法(Otsu)阈值优化对预处理后的图像进行天空区域初分割,再进行基于梯度域导向滤波的天空区域细分割,并去除细分割图像中的阴影;基于天空区域分割改进大气光值估计方法,通过多尺度透射率融合获得初始透射率图,以及采用梯度域导向滤波细化透射率图;通过大气散射模型完成对海上图像的去雾处理。结果表明,与原始暗通道去雾算法相比,利用所提算法去雾后的图像在信息熵、结构相似度、峰值信噪比指标上分别提升了3.5%、9.89%、27.42%。该算法能够有效避免原始算法产生的光晕和色偏现象,且具有更好的视觉效果,能还原真实的海上场景船舶图像。

基于颜色校正和暗亮双通道先验的水下图像增强算法

在水下成像过程中,光源是影响图像质量的关键因素之一,由于光的散射和吸收,导致水下图像存在颜色失真,对比度和可见度低等诸多问题。这些质量下降的水下图像不利于分析和利用。针对上述问题,本文提出了一种基于颜色校正和暗亮双通道先验的水下图像增强算法。首先提出一种基于标准差比的颜色补偿算法,有效解决颜色失真问题。然后,一方面利用锐化来增强图像的细节和边缘,得到对比度增强图像。另一方面,提出了一种基于通道差异加权的暗亮双通道算法去除图像模糊,得到可见度恢复的图像。最后,采用多尺度融合方法将对比度增强图像和可见度恢复图像进行融合。实验结果表明,与其他水下图像增强算法进行定性和定量评价比较,本文算法能够有效消除颜色偏差、恢复图像的清晰度,同时在Undewater Color Image Quality Evaluation(UCIQE)、Underwater Image Quality Measurement(UIQM)和Information Entropy(IE)参数指标上均有较大提高。

高低频通道特征交叉融合的低光人脸检测算法

低光条件下捕获的人脸图像存在着噪声严重、对比度低等不足,极大影响了现有人脸检测器的准确性,另外,现有的低光图像检测算法欠缺小区域人脸信息的提取能力。为此,提出一种基于深度学习的两阶段人脸检测算法,即利用现有的低光图像增强算法对人脸图像进行增强后再进行检测。为提升检测算法对人脸信息的提取能力,设计一种新型的高低频通道特征交叉融合方法,该方法首先使用高低频通道特征可分离模块分离出不同尺度特征的高低频信息,然后对上述信息进行交叉融合,提升网络提取高频细节信息和低频色域信息的能力,进而提高检测网络的性能。对比试验和消融试验验证了该研究方法的有效性,试验结果表明该方法优于基准方法4.0%mAP。

基于图像分割和融合的图像去雾算法研究

为了解决传统的暗通道先验去雾方法产生的细节丢失和亮度偏低等问题,本研究提出了一种基于图像分割和融合的去雾算法。首先对输入图像使用亮度反转的MSRCR预处理来进行色彩保真;其次用阈值分割法提取图像的特征信息并获得掩膜,根据特征信息设计自适应的Gamma校正方法,提升对比度和亮度,并使用暗通道先验方法保持去雾后的细节;最后将处理后的图像进行掩膜融合。在真实世界的数据集上仿真结果表明,本研究所提算法在去雾后能保留更多的细节且提高亮度。与几种经典的算法相比,本研究所提算法在去雾后的图像有较好的色彩保真度,保留了更多的细节,去雾效果好且亮度更自然。

基于双分解的双通道PCNN红外与可见光图像融合

为解决红外与可见光图像融合过程中存在的对比与清晰度较低和小目标易丢失等问题,提出了基于在双分解模型下的双通道PCNN(dPCNN)图像融合算法。首先对两幅源图像进行预增强处理,通过鲁棒的主成分分析(RPCA)将处理后图像分解为稀疏层与低秩层,接着,再利用非下采用剪切波变换(NSST)对的稀疏层进行多尺度分解得到低频子带与高频子带,然后对低秩层和低频子带采用局部加权能量与拉普拉斯能量两者取大的规则进行融合,对高频子带则利用dPCNN的点火图进行融合,最后将得到的融合成分进行逆变换或合成来得到最终融合图像。实验表明,该算法的融合图像目标信息对比突出、小目标信息明显,对源图像信息保留较好,客观评价指标也明显也优于其他算法,其中互信息有了大幅度的提升,有效地提升了红外与可见光图像的融合效果。

基于双通道残差密集网络的红外与可见光图像融合

为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。

基于通道量化与红色先验融合的水下光学图像清晰化

水下图像通常存在对比度低以及颜色失衡等现象,导致图像纹理信息不清晰,针对此类问题,提出基于通道量化与红色先验融合的水下光学图像清晰化方法。首先,设计两种输入图像版本,图像一通过颜色通道直方图量化重新分配像素值,调整对比度;图像二为实现色彩均衡,将红色通道先验代入成像模型,用于估计背景光、直接分量透射率和后向散射透射率。然后,针对各输入图像设计3种权重图,包括亮度图、饱和度图和显著图。最后,利用多尺度融合策略,将局部对比度提升和颜色校正图像与其归一化权重图进行融合。在多个数据库上通过主观和客观指标进行实验评价,结果表明,本文算法在呈现高对比度的同时,能够恢复出更多的色彩和细节信息,有效提升水下图像质量,与各经典及新颖算法相比具有优势。

改进暗通道先验和策略性融合的图像去雾算法

针对图像去雾领域的暗通道先验算法存在光晕效应、颜色失真及对天空区域处理不佳等问题,提出一种改进暗通道先验和策略性融合的图像去雾算法。依据暗通道先验原理得到多尺寸最小值滤波窗口下的透射率和对应大气光值,设计基于结构相似性指标的调节和侧重因子用于多窗口透射率拟合。利用非线性规划模型和偏度理论计算全局大气光值,引入并调整置信度对天空区域的透射率进行快速补偿,结合大气散射模型恢复去雾图。将去雾图转换成HSV模型并对亮度V空间进行增强,同时对增强前后的图像进行策略性融合。实验结果表明,相比于现有的暗通道先验去雾算法,该算法的可见边增率、信息熵和平均梯度分别提升了79%~131%、3%~9%、39%~81%,具有较好的去雾效果,避免了光晕效应和颜色失真现象,适用于处理包含不同尺寸天空区域的雾图。

基于全局及局部优势特征融合的遥感图像去雾方法

由于大气中颗粒物质的散射和吸收,遥感图像通常存在细节模糊、对比度降低等问题,严重影响其视觉质量。针对这些问题,文章提出了1种基于全局及局部优势特征融合的遥感图像去雾方法。首先,利用暗通道先验对原始图像进行去雾预处理;然后,采用多曝光融合策略以及积分和平方积分方法整合图像区域的优势特征信息,提升全局及局部对比度;最后,通过金字塔融合自适应选择全局及局部对比度增强的显著特征,以获得清晰化图像。实验结果表明,该方法在遥感图像去雾领域优于其他方法,处理后的图像在黑暗区域曝光、全局对比度增强及局部细节提升等方面表现出了良好的性能。

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.