Brovey图像融合在引大灌区土地覆盖调查中的应用

图像融合是目前广泛应用的一种增强图像信息的技术手段 ,其目标是将不同几何和不同质的图像通过某种数学和物理变换生成相同几何或另一种均质的新图像。以引大灌区土地利用调查为例 ,针对灌区的土地类型特点以及对空间分辨率的要求 ,选择 SPOT全色波段和 TM多光谱波段 ,利用 Brovey图像融合方法进行图像融合 ,以获得 1 0 m空间分辨率的假彩色合成图像。同时 ,对融合的图像进行精度验证 。

一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法

受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。

双能量CT非线性融合和噪声优化的虚拟单能量图像技术在喉鳞状细胞癌中的应用

目的:探讨双能量CT线性融合图像(linear blending imaging,LBI)、非线性融合图像(nonlinear blending image,NBI)和噪声优化的虚拟单能量图像(noise-optimized virtual monoenergetic image,VMI+)技术在喉鳞状细胞癌中的应用价值。方法:回顾性分析2019年6月至2022年3月61例经病理证实为喉鳞状细胞癌患者的双能量CT资料。双能量图像采用LBI[融合系数为1(80 kV)和0.6(M0.6)]、NBI和VMI+(40 keV、55 keV)技术重建。比较5组图像的客观图像质量[对比噪声比(contrast-tonoise ratio,CNR)、肿瘤CT值、噪声]和主观图像质量(肿瘤边界评分和整体图像质量评分)。结果:40 keV的CNR、肿瘤CT值和肿瘤边界评分均明显高于80 kV、M0.6、NBI和55 keV,差异均有统计学意义(均P<0.05)。NBI的整体图像质量评分明显高于80 kV、M0.6、40 keV和55 keV,差异均有统计学意义(均P<0.05)。NBI的噪声明显低于80 kV、40 keV和55 keV,差异均有统计学意义(均P<0.05)。结论:在喉鳞状细胞癌的双能量CT中,采用VMI+技术(40 keV)能提供更好的CNR、肿瘤CT值和肿瘤边界,采用NBI技术能提供更低的噪声和更好的整体图像质量。

基于Landsat8与Sentinel-1遥感图像融合的土壤含水率反演模型

针对当前运用单一光学卫星反演土壤含水率时易受到云的影响,单一SAR卫星反演土壤含水率时易受到地表粗糙度和植被影响的问题,以内蒙古河套灌区沙壕渠为研究区域,以4个深度的土壤含水率为研究对象,分别采用主成分分析(PCA)、施密特正交变换(GS)融合Landsat8和Sentinel-1图像以减少云、植被、土壤粗糙度的影响,并对融合后的图像质量进行评价,然后用融合图像的灰度构建1134种遥感指数,基于相关系数分析、变量投影重要性分析、灰色关联分析3种变量筛选方法与BP神经网络(BP)、极限学习机(ELM)、随机森林(RF)、支持向量机(SVM)4种机器学习算法的耦合模型反演沙壕渠土壤含水率。研究结果表明:经PCA、GS融合后的融合图像可同时保持Sentinel-1和Landsat8图像的优势,并成功定量反演土壤含水率。基于融合图像构建的三维指数普遍比二维指数对土壤含水率更敏感。在表层土壤含水率反演中,基于GS融合的VIP-ELM模型精度最高(决定系数R2=0.66,均方根误差(RMSE)为1.35%)。将GS融合的VIP-ELM模型应用于其他土壤深度含水率的反演后发现,20~40 cm反演精度最高(R2=0.79,RMSE为0.94%),其次是0~10 cm、40~60 cm、10~20 cm。该研究可为多源卫星图像融合反演土壤含水率提供参考。

深度学习偏振图像融合研究现状

偏振图像融合旨在通过光谱信息和偏振信息的结合改善图像整体质量,在图像增强、空间遥感、目标识别和军事国防等领域具有广泛应用。本文在回顾基于多尺度变换、稀疏表示和伪彩色等传统融合方法基础上,重点介绍基于深度学习的偏振图像融合方法研究现状。首先阐述基于卷积神经网络和生成对抗网络的偏振图像融合研究进展,然后给出在目标检测、语义分割、图像去雾和三维重建领域的相关应用,同时整理公开的高质量偏振图像数据集,最后对未来研究进行展望。

一种组合电极电容层析成像重建图像融合方法

提出一种基于电容层析成像(ECT)组合电极重建图像及层次聚类的ECT图像融合方法。首先,构建组合8电极及12电极ECT阵列传感器,研究2种组合传感器激励测量方案;其次,采用层次聚类法对两种组合电极ECT重建图像进行聚类,从而消除重建过程中产生的伪影;最后,将聚类后的2种图像再进行小波融合重建。实验结果表明,相较于原始重建图像,所提方法重建图像平均相对误差最小,最大降幅达到23.4%,平均相关系数最大,最大增幅达到10.56%。

面向地物混杂背景的偏振光谱图像融合方法

针对偏振光谱图像融合方法在地物混杂背景遥感探测中多尺度变换融合图像存在边缘轮廓细节模糊、对比度不佳的问题,提出一种基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的图像融合方法,以改善融合图像的质量和视觉效果。首先,该方法通过非下采样轮廓波变换对光谱图像和偏振图像进行多尺度多方向分解,进而将图像分解成不同子带内的特征信息。其次,低频子带采用稀疏表示融合,从而降低融合图像中物体对比度损失。此外,采用引导滤波器融合高频子带,以增强图像轮廓细节信息。最后,对低频与高频融合系数进行非下采样轮廓波逆变换,最终得出融合图像。分析表明融合图像对比度相对于原始光谱图像与偏振度图像分别提升了54.5%和15.4%,更容易区分混杂背景下阴影中的物体。基于此方法对偏振光谱成像仪所采集的不同波长下的光谱与偏振图像进行融合,并实现真彩还原。真彩还原图像证明此融合方法在保留混杂背景下的环境信息的同时实现了物体和背景的有效区分,有效提高了偏振光谱遥感探测成像的图像质量,有助于提升偏振光谱遥感探测成像中图像信息的完整性和真实性,扩大其在复杂环境遥感探测和图像识别中的应用范围。

基于注意力机制与光照感知网络的红外与可见光图像融合

部分图像融合方法未充分考虑图像环境的光照状况,导致融合图像中出现红外目标亮度不足以及整体画面亮度较低,从而影响纹理细节的清晰度.为解决上述问题,提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法.首先,在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率,将其运用至融合网络损失函数中,用以指导融合网络训练;然后,在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取,得到空间显著信息后,输入卷积神经网络(CNN)以提取深度特征;最后,将深度特征信息进行拼接用于图像重建,进而得到最终的融合图像.实验结果表明:本文方法的互信息(MI)、视觉保真度(VIF)、平均梯度(AG)、融合质量(Qabf)与空间频率(SF)较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%;融合后的图像能够有效保留红外目标亮度,且包含丰富的纹理细节信息.

面向双模态夜视图像的混合尺度融合算法

针对传统红外与可见光图像融合算法存在的细节模糊、对比度降低、背景信息缺失等不足,提出了一种基于混合尺度的红外与可见光融合方法。通过潜在低秩表示变换将源图像分解低秩子带和显著子带;利用非下采样轮廓波变换将低秩子带继续分解为低频分量与高频分量;针对显著子带采用基于卷积稀疏表示的方法进行融合;并结合全局均值、区域均值与能量的优势融合低频分量;利用权重决策图融合高频分量。基于自建库及公开库的实验结果表明,与其他5种图像融合算法相比,所提算法在充分继承源图像有效信息的同时,融合图像整体对比度更均衡,有效提升了融合图像的清晰度,包含更丰富的图像细节信息,在主客观评价上均取得了更好的效果。

基于目标增强与鼠群优化的红外与可见光图像融合算法

针对传统红外与可见光图像融合结果存在目标模糊、信息丢失问题,提出一种基于目标增强与鼠群优化的红外与可见光图像融合方法,记为TERSFuse。为了减少融合结果中原始图像细节信息丢失,分别构建了红外对比度增强模块和基于亮度感知的可见光图像增强模块;利用拉普拉斯金字塔变换对红外和可见光增强图像进行多尺度分解,从而得到对应的高、低频图像;为了使融合结果充分保留原始图像信息,分别采用“最大绝对值”规则对红外和可见光高频图像进行融合以及通过计算权重系数对低频图像进行融合;设计了基于鼠群优化的图像重构模块以实现高频图像和低频图像重构权重的自适应分配,进而提高融合图像的视觉效果。为了验证所提算法优势,与7种经典融合算法进行比较,实验结果表明所提算法不仅具有良好的视觉效果,而且融合图像能够保留原始图像丰富的边缘纹理和对比度信息。

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

基于信息增强和掩码损失的红外与可见光图像融合方法

针对低光场景下红外与可见光融合图像中存在的细节弱化和边缘模糊等问题,提出一种基于信息增强和掩码损失的图像融合方法。首先,采用引导滤波增强可见光图像的纹理细节和红外图像的边缘梯度;其次,构建双分支特征提取网络提取不同模态图像的特征信息,并设计交互增强模块以渐进交互的方式集成不同特征分支的互补信息,增强特征的细节表示;然后,在融合阶段设计注意力引导模块从空间和通道维度上关注特征信息,提升网络对关键特征的感知能力;最后,提出一种掩码损失以指导融合网络有针对性地保留源图像信息,提升融合质量。为验证所提方法的融合性能,在MSRS、TNO和LLVIP公开数据集上与9种主流的融合算法进行实验对比。结果表明,所提方法在定性和定量评估上均优于其它对比算法,生成的融合图像具有丰富的纹理细节、清晰的显著性目标和良好的视觉感知。

基于PCNN图像融合的ECT多相流测量系统设计

针对ECT在多相流测量过程中存在的成像质量不高、精度低、稳定性差等问题,提出并实现了基于PCNN图像融合的ECT多相流测量系统。系统采用模块化设计,主要包括阵列电极传感器模块、电容采集电路模块、上位机成像软件模块。文中设计改进的网络模型,将Tikhonov和Landweber算法的成像结果作为输入进行双通道融合成像,改善了传统算法存在的伪影、模糊的现象。实验结果表明:应用尼龙棒模拟气固两相流对系统进行测试,系统对于微小电容的测量具有良好的稳定性和准确性,通过系统的成像结果可以准确地分辨管道内不同介质的位置,其中对于流型的预测成功率为100%,相含率的测量误差在1%以内。

基于内外混合图像先验与图像融合的DIP改进降噪模型

为提高无监督深度图像先验(DIP)降噪模型的降噪性能,该文提出了一种基于内外混合图像先验与图像融合的DIP改进降噪模型(IDIP),该模型由样本生成和样本融合两个相继执行的模块组成。在样本生成阶段,首先利用2个分别来自内部和外部先验且有代表性的降噪算法(模型)处理噪声图像以产生2张初始降噪图像。基于这2张初始降噪图像,使用空间随机混合器按照各自50%混合比例随机生成足够多的混合图像作为DIP降噪模型的第2目标图像并与第1目标图像(即噪声图像)构成双目标图像。然后,每次使用不同的随机输入和双目标图像,多次执行标准DIP降噪流程生成多张具有互补性的样本图像;在样本融合阶段,首先为了获得更好的随机性和稳定性,随机丢弃50%的样本图像。然后,采用无监督融合网络在样本图像上完成自适应融合,获得的融合图像的图像质量相对参与融合的样本图像得到再次提升,作为最终降噪图像。在人工合成噪声图像上实验表明:IDIP降噪模型较原DIP降噪模型在峰值信噪比评价指标上有约2 dB的提升,且较大幅度超过了其他无监督降噪模型,逼近了有监督降噪模型。而在实际真实噪声图像上,其降噪性能较各对比方法更具鲁棒性。

多尺度融合图像去雾方法

图像去雾能够使视觉系统适应不同的天气状况.为克服传统暗通道先验方法会在物体边界区域形成光晕效应的问题,提出一种用于估计有雾图像透射率的多尺度融合算法.应用不同大小的最小值半径得到多尺度的透射率估计值,再根据局部区域像素具有类似的透射率值这一现象,对透射率图进行多尺度融合,选择小透射图区域中最亮的像素来计算大气光值,最后使用大气散射模型恢复清晰图像.分别从视觉效果和量化指标两个方面,对比所提方法与传统的基于先验和基于深度学习的去雾方法在进行图像去雾后的效果.结果发现,针对4种典型场景,采用本研究算法去雾后的重构图像能够保留更多的结构、细节和颜色信息,避免了过分增强和边缘部分的雾残留问题,视觉效果均优于对比方法;量化指标峰值信噪比和结构相似性均高于对比方法,分别为15.65和0.78.

基于自编码器的红外与可见光图像融合算法

针对目前红外与可见光图像融合过程中,图像特征提取不充分、中间层信息丢失以及融合图像细节不够清晰的问题,提出了一种基于自编码器的端到端图像融合网络结构。该网络由编码器、融合网络和解码器3部分组成。将高效通道注意力机制和混合注意力机制引入到编码器和融合网络中,利用卷积残差网络(convolutional residual network,CRN)基本块来提取并融合红外图像和可见光图像的基本特征,然后将融合后的特征图输入到解码器进行解码,重建出融合图像。选取目前具有典型代表性的5种方法在主客观方面进行对比。在客观方面,较第2名平均梯度、空间频率和视觉保真度分别提升了21%、10.2%、7.2%。在主观方面,融合后的图像目标清晰、细节突出、轮廓明显,符合人类视觉感受。

基于多尺度分解的双曝光图像融合方法

为了有效地提高可见光成像设备的动态范围,降低融合图像的质量对源图像数量的依赖,提出了一种基于多尺度分解的双曝光图像融合算法。该方法只需要一组欠曝光和过曝光图像作为源图像,通过曝光融合即可得到一幅包含丰富信息的图像。首先,依据欠曝光图像和过曝光图像自身的特点,分别进行了自适应曝光调整,充分挖掘图像中潜在的细节信息。然后,提取图像序列的边缘强度、曝光适宜度和色彩饱和度作为评价指标,进而构建出融合权重图。最后,通过金字塔多尺度分解和加权融合得到融合图像。实验选取了15组图像序列,分别从主观和客观两个方面与4种具有代表性的算法进行了对比。实验结果表明,本文算法相比于其他算法,图像质量综合提升了4.9%,具有更强的细节信息保留能力。

基于特征相似性的红外与可见光图像融合方法

单一图像无法全面描述目标的信息,实际应用价值低,针对当前红外与可见光图像融合方法存在的一些不足,如:融合质量差等,为了获得更加理想的红外与可见光图像融合效果,提出了基于特征相似性的红外与可见光图像融合方法。首先分析当前红外与可见光图像融合的研究进展,指出各种方法的局限性,然后采用红外图像和可见光图像,并对它们进行图像去噪、增强处理,采用卷积神经网络提取红外与可见光图像的特征,最后根据特征相似性进行红外与可见光图像融合,并对红外与可见光图像融合效果进行了测试,结果表明,本方法提升了红外与可见光图像融合质量,融合效果要明显优于其他红外与可见光图像融合方法。

基于大数据分析的可见光图像融合质量评价研究

在复杂可见光图像下图像融合质量受到遮挡和重叠等因素影响,需要进行图像融合质量评价优化设计,提出基于大数据分析的可见光图像融合质量评价模型,采用相应图像块之间的视觉特征提取方法建立可见光图像的深度立体匹配模型,将不同光照强下采集的图像像素值显示映射到嵌入特征空间中,完成预处理,构建可见光图像的动态像素大数据融合模型,通过端到端的视差融合估计实现对可见光图像的动态融合,采用超分辨重建方法获得真实配对图像,分析SR结果与LR图像中的相似内容,以特征级别的图像分布域反映可见光图像融合质量评价,实现可见光图像融合质量评价。仿真结果表明,采用该方法进行可见图像融合的匹配性能较好,图像的对比度、饱和度高,提高了可见光的成像质量,耗时为0.012 s,平均迭代次数为1.569,并且均方误差仅为1.071,总误差仅为4.646,该方法有效提高了图像融合质量的同时,提高了评估效果。

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。