基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法

高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中,与5种先进的低照度图像增强算法相比,该算法增强图像的质量指标PSNR、SSIM、VIF平均提高了16.564%,10.998%,16.226%和14.438%,10.888%,14.948%,证明该算法能够有效提升整体图像亮度,消除照度不均,避免颜色失真和细节丢失,实现矿井低照度图像增强。

一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法

受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。

浮选泡沫图像特征提取方法研究进展

机器视觉作为设备操作人员的工具,在泡沫浮选设备的监测中得到了广泛的应用。利用泡沫图像数据集建立预测识别模型,以初级泡沫特征参数为输入,以品位和回收率等浮选指标为输出。根据是否需要手动提取浮选泡沫图像特征,可以将特征提取算法划分为两大类别:一种是基于颜色、形态特征等的传统手动特征提取方法,另一种是基于深度神经网络的自动特征提取方法。本文总结并归纳了近年来浮选泡沫图像特征提取算法领域的研究进展,分析了各种方法的优势和不足,对当前难以人工识别泡沫状态及实现浮选自动化提升浮选效率,具有一定的指导价值。

基于改进Deformable-DETR的水下图像目标检测方法

针对由于水下复杂环境造成的目标检测效果较差、检测精度较低的问题,基于Deformable-DETR算法提出一种改进的水下目标检测算法Deformable-DETR-DA。使用空间注意力模块结合标准Transformer块设计了一个用于增加模型深度的深度特征金字塔(deep feature pyramid networks,DFPN)模块,将其嵌入到模型中提高模型对深层纹理信息的提取能力。使用注意力引导的方式对原模型中编码器部分进行改进,加强了对特征信息的聚合能力,提高了模型在复杂环境下的检测能力。针对URPC数据集,模型各交并比尺度的平均准确度(average precision,AP)为39.5%,相比原模型提升1%,与一些DETR(detection transformer)类的模型相比,不同目标尺度的平均准确度均有1%~4%左右的提高,表明改进的模型能够很好解决复杂环境的水下目标检测的问题。本文提出的模型可作为其他水下目标检测模型设计的参考。

双能量CT非线性融合和噪声优化的虚拟单能量图像技术在喉鳞状细胞癌中的应用

目的:探讨双能量CT线性融合图像(linear blending imaging,LBI)、非线性融合图像(nonlinear blending image,NBI)和噪声优化的虚拟单能量图像(noise-optimized virtual monoenergetic image,VMI+)技术在喉鳞状细胞癌中的应用价值。方法:回顾性分析2019年6月至2022年3月61例经病理证实为喉鳞状细胞癌患者的双能量CT资料。双能量图像采用LBI[融合系数为1(80 kV)和0.6(M0.6)]、NBI和VMI+(40 keV、55 keV)技术重建。比较5组图像的客观图像质量[对比噪声比(contrast-tonoise ratio,CNR)、肿瘤CT值、噪声]和主观图像质量(肿瘤边界评分和整体图像质量评分)。结果:40 keV的CNR、肿瘤CT值和肿瘤边界评分均明显高于80 kV、M0.6、NBI和55 keV,差异均有统计学意义(均P<0.05)。NBI的整体图像质量评分明显高于80 kV、M0.6、40 keV和55 keV,差异均有统计学意义(均P<0.05)。NBI的噪声明显低于80 kV、40 keV和55 keV,差异均有统计学意义(均P<0.05)。结论:在喉鳞状细胞癌的双能量CT中,采用VMI+技术(40 keV)能提供更好的CNR、肿瘤CT值和肿瘤边界,采用NBI技术能提供更低的噪声和更好的整体图像质量。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

一种新的术中X线与术前CT图像配准方法

目的本研究旨在配准胸主动脉血管内修复术(thoracic endovascular aortic repair,TEVAR)术中X线与术前CT图像,为TEVAR支架植入提供精确安全的导航。然而,现有配准算法存在无法有效弥合投影CT图像生成的数字重建影像(digitally reconstructed radiography,DRR)与X线图像之间的域间差异和难以获得图像分割标签的问题。因此,需要提出新的方法来改善这一问题。方法本文提出了一种新的配准框架,该框架结合了基于生成对抗网络(generative adversarial network,GAN)的域自适应网络和基于Transformer的配准网络。基于GAN的域自适应网络将X线图像的风格迁移到DRR图像上,使两者在图像风格上更接近。基于Transformer的配准网络采用CNN与跨模态变换器(cross-modality transformer,CMT)相结合的模式,直接配准X线与CT图像,无需进行图像分割。结果本文在208对标定的TEVAR术中X线与CT图像对上对新的配准方法进行了验证。与其他域适应方法相比,本文所采用的CycleGAN网络作为风格转换模块,有效减小了DRR图像与X线图像之间的域间差异。消融实验结果进一步证实,配准网络中的全局局部感知模块(global-local perception module,GLPM)对提高配准精度具有明显作用,而空间缩减(spatial reduction,SR)则有效缩短了配准时间。通过对比现有方法和本文方法在真实患者X线与CT图像对上的配准效果,本文的方法在配准精度和成功率方面均表现出最佳性能。结论本文提出的新的X线与CT图像配准方法有效克服了现有方法存在的域间差异以及难以获得分割标签的问题。

3D smart mA调控技术对不同BMI患者图像采集时间质量及辐射剂量的影响

目的:分析3D智能管电流(3D smart mA)调控技术对不同体质量指数(BMI)患者图像采集时间、质量及辐射剂量的影响。方法:择取的180例行胸部CT扫描患者选自西安交通大学第一附属医院2021年6月至2022年12月期间所收治,按照BMI将患者分为三组,A组(18.5 kg/m^(2)≤BMI≤23.9kg/m^(2),n=75)、B组(23.9kg/m^(2)0.05);两位医师对肺部不同层面图像质量(IQS)评分进行评价,Kappa一致性非常好(Kappa值=0.768、0.812、0.861);三组肺部不同层面IQS评分对比,差异无统计学意义(P>0.05);三组肺部不同层面CT对比,差异有统计学意义,且随着BMI增加而下降(P<0.05),三组肺部不同层面图像标准差(SD)值对比,差异无统计学意义(P>0.05);三组容积CT剂量指数(CTDIvol)对比,差异无统计学意义(P>0.05);A组DLP、ED均低于B、C组,B组DLP、ED低于C组(P<0.05)。结论:不同BMI患者应用3D smart mA调控技术,在保证图像质量的前提下,可有效降低辐射剂量。

智能行车记录仪图像去雾系统的FPGA设计

雾霾天气下,交通道路能见度低,导致所采集到的视频画面退化、图像信息模糊,同时考虑传统系统处理实时性不高等问题,基于ZYNQ平台设计了一种图像去雾系统,并应用于智能行车记录仪系统中.首先,针对传统暗通道去雾算法在天空区域存在失真等问题,提出了一种分割天空区域的策略来修正图像复原参数;然后,针对计算全局大气光值时,需对整幅图像的像素排序消耗大量资源的问题,利用现场可编程门阵列(FPGA)并行运算的优势,提出一种帧迭代方法优化求取大气光值,同时优化了引导滤波的硬件设计;最后,将双路高清多媒体接口(HDMI)资源中,一路作为视频输入,另一路作为视频处理输出,搭建实时交通图像视频处理试验平台.试验结果表明,系统针对雾霾天气下的交通视频具有较好的去雾效果,尤其是可以解决天空区域去雾的失真问题.在对分辨率为1280像素×720像素的交通视频去雾时,可以达到30帧/s的处理速度,满足实时性要求.

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

基于改进U-Net的水下图像增强算法

针对水下退化图像存在颜色失真、模糊雾化、对比度低等问题,提出了一种新的基于改进U-Net的水下图像增强算法。设计一种新的残差注意力结构和边缘检测模块并将其引入到U-Net网络中,构建改进后的水下图像增强算法。实验结果表明,本文提出的算法在校正水下色偏和增强对比度方面均得到了很好的效果,IE值较原始图像平均提高了14.2%,UCIQE值较原始图像平均提高了24%。消融实验结果表明,本文提出的残差注意力结构、边缘检测模块和损失函数均对水下图像增强起到了积极的效果。

煤矿井下非均匀照度图像去噪研究

煤矿综采工作面空间小、照明环境复杂多变,采煤过程中伴随着大量的粉尘、大雾,导致采集的图像出现曝光、细节特征减弱等问题,难以对井下照明区域光照强度过大的图像进行有效的特征提取。针对上述问题,提出了一种煤矿井下非均匀照度图像去噪算法。首先,将视频截取为图像,判断图像是否需要进行光照抑制,将需要进行光照抑制的RGB图像拆分通道,并计算每个通道的光照调节因子,实现图像的整体光照调节;然后,将未进行整体光照抑制的图像和经整体光照抑制的图像进行反射分量提取,即将输入的图像转换为HSV空间图像,使用单尺度Retinex(SSR)算法对V通道图像中的光照分量进行单独处理,将V分量中的入射分量去除,保留反射分量,并对反射分量使用直方图均衡算法实现光照均衡化处理;最后,使用基于引导滤波的暗通道先验算法对经过光照处理后的图像进行去雾处理,并使用伽马校正函数重新调节亮度不均的图像。主观评价结果表明:提出的煤矿井下非均匀照度图像去噪算法有效抑制了因光照导致整体亮度较高的问题,且由于大雾、粉尘等因素导致图像模糊的部分更加清晰,图像的细节特征更加突出。采用信息熵、均值、标准差、空间频率4种评价指标对提出的算法效果进行客观评价,结果表明,提出的算法在信息熵、均值、标准差、空间频率上较多尺度Retinex(MSR)算法分别平均提升了21.87%,-56.06%,153.43%,294.45%,较基于颜色保持的多尺度视网膜增强(MSRCP)算法分别平均提升了1.18%,-39.56%,33.29%,-4.71%,较带色彩恢复的多尺度视网膜增强(MSRCR)算法分别平均提升了38.06%,-55.27%,462.10%,300.96%,说明提出的算法能更有效地增加图像信息量、抑制光照强度、提升边缘信息及图像清晰度。

特征域近端高维梯度下降图像压缩感知重构网络

压缩感知理论可以被用于解决信源采集设备计算资源受限的问题,但信号重构过程存在不确定性。传统的重构算法计算复杂度高,难以在实际中应用。近期,基于深度学习的重构算法打破传统算法的局限性,以其速度快、质量高等特点受到了广泛关注。现有的深度学习重构算法可以划分为“黑盒子”以及基于优化启发网络两种类型。与“黑盒子”式的网络结构相比,基于优化启发的深度网络更容易获得高精度的恢复,同时也更具可解释性。然而现有基于优化启发的图像压缩感知重构网络在每个优化阶段仅学习单一梯度,存在测量值信息利用不足、难以准确地学习梯度等缺点,限制了重构性能的提升。为了更充分地利用测量值信息,降低梯度学习的难度,本文提出了高维空间梯度学习思想,实现更准确的梯度回归。在此基础上,本文提出了特征域近端高维梯度下降(FPHGD)算法,并设计了实现该算法的深度神经网络(FPHGD-Net)以获得高精度图像重构结果。此外,本文设计了3种不同复杂度的深度空间近端映射网络结构,以满足不同的应用条件,按空间复杂度从低到高,相应模型分别为FPHGD-Net-Tiny、FPHGD-Net、FPHGD-NetPlus。实验结果表明,与OPINE-Net+相比,所提3种模型在Set11数据上的平均PSNR分别提升1.34、1.51和1.88 dB,并且在重构视觉效果上,能够恢复出更丰富的图像细节。

应用高光谱图像技术对林下作物质量等级鉴别方法——以黄芪为例

黄芪作为一种林下多年生草本,具有极高的经济和药用价值。黄芪粉是黄芪的重要消费形式,不同质量等级的黄芪粉由于内部成分差异,在近红外光谱下具有不同的特性,而肉眼却难以区分。针对不同质量等级间黄芪粉难以鉴别的问题,利用高光谱成像技术对312组黄芪粉样本进行数据采集,再对光谱信息采用标准正态变化(SNV)、多元散射校正(MSC)和卷积平滑(SG)3种预处理,再利用竞争性自适应重加权采样(CARS)、变量组合集群分析(VCPA)和区间变量迭代空间收缩法(IVISSA)对全波段光谱进行特征提取,以优选的特征波长作为输入,建立K-近邻判别(KNN)和支持向量机(SVM)分类模型。结果表明:经过竞争性自适应重加权采样的支持向量机模型分类效果最好,训练集和测试集准确率分别达到100.00%和98.94%,能够实现黄芪粉的准确分类,为林下作物的等级鉴别提供了新的研究思路。

基于NSST与稀疏先验的遥感图像去模糊方法

针对遥感图像的模糊问题,设计一种基于非下采样剪切波变换与稀疏先验的图像复原算法.首先,利用遥感图像在非下采样剪切波分解下的高频图像的稀疏特性设置先验条件构造图像复原模型;其次,采用交替方向乘子法求解模型;再次,采用软阈值方法对高频图像进行约束处理,在低频图像进行导向滤波处理,以最大可能保留图像的细节信息;最后,将高频图像与低频图像进行重构,对重构后的图像采用卷积神经网络进行深度去噪,最终复原出清晰的图像.将该去模糊算法与H-PNP,GSR,L2TV算法进行实验对比.实验结果表明,该算法能有效去除遥感图像中的模糊和噪声,保留图像的边缘细节,客观评价指标均高于其他3种对比实验算法.

基于卷积神经网络的遥感图像目标识别仿真

在遥感图像中,目标往往位于复杂的地物背景中,包括不同类型的植被、土地覆盖、建筑物等。上述复杂的地物背景对目标识别造成了困难。为了精准识别遥感图像目标,提出一种卷积神经网络下遥感图像目标识别算法。将暗通道原理和双边滤波算法有效结合,对遥感图像展开增强处理。统计分析遥感图像目标尺度范围,通过训练和测试卷积神经网络,得到最佳目标感兴趣区域尺度。确定目标感兴趣区域最佳尺度后,构建基于卷积神经网络的遥感图像目标识别架构,完成遥感图像目标识别。通过实验分析证明,采用所提算法可以有效提升遥感图像增强效果,具有较好的遥感图像目标识别性能。

深度学习偏振图像融合研究现状

偏振图像融合旨在通过光谱信息和偏振信息的结合改善图像整体质量,在图像增强、空间遥感、目标识别和军事国防等领域具有广泛应用。本文在回顾基于多尺度变换、稀疏表示和伪彩色等传统融合方法基础上,重点介绍基于深度学习的偏振图像融合方法研究现状。首先阐述基于卷积神经网络和生成对抗网络的偏振图像融合研究进展,然后给出在目标检测、语义分割、图像去雾和三维重建领域的相关应用,同时整理公开的高质量偏振图像数据集,最后对未来研究进行展望。

基于LMIENet图像增强的矿井下低光环境目标检测方法

煤矿井下工作环境复杂,存在人造光源亮度低、粉尘多和水气密度大等不利因素,导致现有的目标检测算法在应用到煤矿井下时,存在提取特征困难、目标识别和定位精度低等问题。提出一种煤矿井下低照度环境目标检测算法,由矿井低光图像增强模块LMIENet和目标检测模块组成,使用图像增强模块对原始图像进行画质提升,恢复各类图像信息,再使用目标检测网络对增强图像进行特定目标检测,有效提高检测的精确度。在图像增强模块中,改进Zero-DCE算法设计轻量级增强参数预测网络,计算像素级增强参数矩阵,用于低光照图像的亮度调整和画质增强,该网络通过设计的非参考损失函数隐性衡量图像的增强效果,引导网络进行无监督学习,使网络能够不依赖配对数据集对原始图像进行自适应的画质增强。目标检测模块中,采用YOLO v8n目标检测模型,其轻量化的模型尺寸和高灵活性可避免模型整体复杂度过高;采用Focal-EIoU Loss改进回归损失函数,有效加速模型收敛并提升模型检测精度。实验结果显示:与经典目标检测算法Faster R–CNN,SSD,RetinaNet,FCOS等相比,提出算法在自建矿井人员数据集上表现出色,低光照环境下目标检测的mAP@0.5达到98.0%,mAP@0.5∶0.95达64.8%,在实验环境中单帧图像推理时间仅11 ms,优于其他对比方法,证明提出算法能够有效实现在煤矿井下低照度复杂环境下的目标检测,且耗时短、计算效率高。

图像引导和点云空间约束的公路洒落物检测定位方法

公路洒落物是影响交通安全的重要因素之一,为了解决中小尺度公路洒落物检测中的漏检、误检以及难以定位等问题,本文提出了一种图像引导和点云空间约束的公路洒落物检测定位方法。该方法使用改进的YOLOv7-OD网络处理图像数据获取二维目标预测框信息,将目标预测框投影到激光雷达坐标系下得到锥形感兴趣区域(region of interest,ROI)。在ROI区域内的点云空间约束下,联合点云聚类和点云生成算法获得不同尺度的洒落物在三维空间中的检测定位结果。实验表明:改进的YOLOv7-OD网络在中尺度目标上的召回率和平均精度分别为85.4%和82.0%,相比YOLOv7网络分别提升6.6和8.0个百分点;在小尺度目标上的召回率和平均精度分别为66.8%和57.3%,均提升5.3个百分点;洒落物定位方面,对于距离检测车辆30~40 m处的目标,深度定位误差为0.19 m,角度定位误差为0.082°,实现了多尺度公路洒落物的检测和定位。

基于迁移学习与残差网络的快递包裹X光图像识别

针对快递包裹违禁物品识别存在种类繁多、依赖人力和X光图像获取难度大等问题,为提高快递包裹违禁物品识别的效率和准确度,本研究提出一种迁移学习与残差网络相结合的快递包裹X光图像识别方法(TL-ResNet18)。首先构建了相似度高的源领域数据集和目标领域数据集;其次,选用ResNet18作为预训练模型,调整初始化参数结构,并将ResNet18学习到的内容作为初始化参数迁移到目标领域,实现快递包裹X光图像分类;最后,将相同数据集作为三种模型的输入并对结果进行对比。实验结果表明,TL-ResNet18模型的局部微调和全局微调的识别准确率分别为93.5%、95.0%,相比于ResNet18模型提高了7%、8.5%,且精确度、召回率和F1值都优于ResNet18模型,该方法性能更优,且不受小型数据集对深层网络训练的限制,有利于快递包裹X光图像识别的智能化发展。