基于GAN和多尺度空间注意力的多模态医学图像融合

针对多模态医学图像融合过程中多尺度特征和纹理细节信息丢失的问题,提出一种基于生成对抗网络和多尺度空间注意力机制的图像融合算法。首先,生成器采用自编码器结构,分别利用编码器和解码器对输入图像进行特征提取、融合和重建,生成融合图像;其次,整个对抗网络框架采用双鉴别器结构,使得生成器生成的融合图像同时保留多个模态图像的显著特征;最后,构建一种多尺度空间注意力机制作为编码器进行特征提取的基本模块,利用多尺度结构充分捕获并保留源图像的多尺度特征,并且引入空间注意力机制更好地保留源图像的结构和细节信息。哈佛大学全脑图谱数据库上的实验结果表明:所提算法生成的融合图像不仅纹理细节更为丰富,有助于人类视觉观察,而且在3种不同类型的医学图像融合任务上平均梯度、峰值信噪比、互信息、视觉信息保真度等客观评价指标的平均值分别达到0.3023、20.7207、1.4414、0.6498,与其他先进的算法相比具有一定的优势。

CT-PET图像融合在非小细胞肺癌精确放射治疗中的作用

精确放射治疗(precise and accurate radiotherapy, PAR)包括三维适行调强放射治疗的主要优点在于提高肿瘤剂量,降低正常组织损伤,特点之一是靶区边缘的剂量衰减梯度锐利.

一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法

受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

双能量CT非线性融合和噪声优化的虚拟单能量图像技术在喉鳞状细胞癌中的应用

目的:探讨双能量CT线性融合图像(linear blending imaging,LBI)、非线性融合图像(nonlinear blending image,NBI)和噪声优化的虚拟单能量图像(noise-optimized virtual monoenergetic image,VMI+)技术在喉鳞状细胞癌中的应用价值。方法:回顾性分析2019年6月至2022年3月61例经病理证实为喉鳞状细胞癌患者的双能量CT资料。双能量图像采用LBI[融合系数为1(80 kV)和0.6(M0.6)]、NBI和VMI+(40 keV、55 keV)技术重建。比较5组图像的客观图像质量[对比噪声比(contrast-tonoise ratio,CNR)、肿瘤CT值、噪声]和主观图像质量(肿瘤边界评分和整体图像质量评分)。结果:40 keV的CNR、肿瘤CT值和肿瘤边界评分均明显高于80 kV、M0.6、NBI和55 keV,差异均有统计学意义(均P<0.05)。NBI的整体图像质量评分明显高于80 kV、M0.6、40 keV和55 keV,差异均有统计学意义(均P<0.05)。NBI的噪声明显低于80 kV、40 keV和55 keV,差异均有统计学意义(均P<0.05)。结论:在喉鳞状细胞癌的双能量CT中,采用VMI+技术(40 keV)能提供更好的CNR、肿瘤CT值和肿瘤边界,采用NBI技术能提供更低的噪声和更好的整体图像质量。

基于Landsat8与Sentinel-1遥感图像融合的土壤含水率反演模型

针对当前运用单一光学卫星反演土壤含水率时易受到云的影响,单一SAR卫星反演土壤含水率时易受到地表粗糙度和植被影响的问题,以内蒙古河套灌区沙壕渠为研究区域,以4个深度的土壤含水率为研究对象,分别采用主成分分析(PCA)、施密特正交变换(GS)融合Landsat8和Sentinel-1图像以减少云、植被、土壤粗糙度的影响,并对融合后的图像质量进行评价,然后用融合图像的灰度构建1134种遥感指数,基于相关系数分析、变量投影重要性分析、灰色关联分析3种变量筛选方法与BP神经网络(BP)、极限学习机(ELM)、随机森林(RF)、支持向量机(SVM)4种机器学习算法的耦合模型反演沙壕渠土壤含水率。研究结果表明:经PCA、GS融合后的融合图像可同时保持Sentinel-1和Landsat8图像的优势,并成功定量反演土壤含水率。基于融合图像构建的三维指数普遍比二维指数对土壤含水率更敏感。在表层土壤含水率反演中,基于GS融合的VIP-ELM模型精度最高(决定系数R2=0.66,均方根误差(RMSE)为1.35%)。将GS融合的VIP-ELM模型应用于其他土壤深度含水率的反演后发现,20~40 cm反演精度最高(R2=0.79,RMSE为0.94%),其次是0~10 cm、40~60 cm、10~20 cm。该研究可为多源卫星图像融合反演土壤含水率提供参考。

深度学习偏振图像融合研究现状

偏振图像融合旨在通过光谱信息和偏振信息的结合改善图像整体质量,在图像增强、空间遥感、目标识别和军事国防等领域具有广泛应用。本文在回顾基于多尺度变换、稀疏表示和伪彩色等传统融合方法基础上,重点介绍基于深度学习的偏振图像融合方法研究现状。首先阐述基于卷积神经网络和生成对抗网络的偏振图像融合研究进展,然后给出在目标检测、语义分割、图像去雾和三维重建领域的相关应用,同时整理公开的高质量偏振图像数据集,最后对未来研究进行展望。

多光谱图像融合的IC器件表面缺陷检测

针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST_VP图像融合方法,以非下采样剪切波变换(Non-Subsample Shearlet Transform, NSST)得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图(Visual Significance Map, VSM)加权融合规则,高频子带则采用自适应脉冲耦合神经网络(PA-Pulse Coupled Neural Network, PA-PCNN)决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中,NSST_VP融合方法的均值平均精度(mean Average Precision, mAP)达到83.15%,比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%,28.31%,比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%,15.01%,20.35%。

一种组合电极电容层析成像重建图像融合方法

提出一种基于电容层析成像(ECT)组合电极重建图像及层次聚类的ECT图像融合方法。首先,构建组合8电极及12电极ECT阵列传感器,研究2种组合传感器激励测量方案;其次,采用层次聚类法对两种组合电极ECT重建图像进行聚类,从而消除重建过程中产生的伪影;最后,将聚类后的2种图像再进行小波融合重建。实验结果表明,相较于原始重建图像,所提方法重建图像平均相对误差最小,最大降幅达到23.4%,平均相关系数最大,最大增幅达到10.56%。

融合CNN与Transformer的MRI脑肿瘤图像分割

为解决卷积神经网络(convolutional neural network,CNN)在学习全局上下文信息和边缘细节方面受到很大限制的问题,提出一种同时学习局语义信息和局部空间细节的级联神经网络用于脑肿瘤医学图像分割。首先将输入体素分别送入CNN和Transformer分支,在编码阶段结束后,采用一种双分支融合模块将2个分支学习到的特征有效地结合起来以实现全局信息与局部信息的融合。双分支融合模块利用哈达玛积对双分支特征之间的细粒度交互进行建模,同时使用多重注意力机制充分提取特征图通道和空间信息并抑制无效的噪声信息。在BraTS竞赛官网评估了本文方法,在BraTS2019验证集上增强型肿瘤区、全肿瘤区和肿瘤核心区的Dice分数分别为77.92%,89.20%和81.20%。相较于其他先进的三维医学图像分割方法,本文方法表现出了更好的分割性能,为临床医生做出准确的脑肿瘤细胞评估和治疗方案提供了可靠依据。

联合多曝光融合和图像去模糊的深度网络

多曝光图像融合可提高图像的动态范围,从而获取高质量的图像。对于在像自动驾驶等快速运动场景中获得的模糊的长曝光图像,利用通用的图像融合方法将其直接与低曝光图像融合得到的图像质量并不高。目前暂缺乏对带有运动模糊的长曝光和短曝光图像的端到端融合方法。基于此,该文提出一种联合多曝光融合和图像去模糊的深度网络(DF-Net)端到端地解决带有运动模糊的长短曝光图像融合问题。该方法提出一种结合小波变换的残差模块用于构建编码器和解码器,其中设计单个编码器对短曝光图像进行特征提取,构建基于编码器和解码器的多级结构对带有模糊的长曝光图像进行特征提取,设计残差均值激励融合模块进行长短曝光特征的融合,最后通过解码器重建图像。由于缺少基准数据集,创建了基于数据集SICE的带有运动模糊的多曝光融合数据集,用于模型的训练与测试。最后,从定性和定量的角度将所设计的模型和方法和其他先进的图像去模糊和多曝光融合的分步优化方法进行了实验对比,验证了该文的模型和方法对带有运动模糊的多曝光图像融合的优越性。并在移动车辆上采集到的多曝光数据组上进行验证,结果显示了所提方法解决实际问题的有效性。

面向地物混杂背景的偏振光谱图像融合方法

针对偏振光谱图像融合方法在地物混杂背景遥感探测中多尺度变换融合图像存在边缘轮廓细节模糊、对比度不佳的问题,提出一种基于非下采样轮廓波变换的稀疏表示与引导滤波器相结合的图像融合方法,以改善融合图像的质量和视觉效果。首先,该方法通过非下采样轮廓波变换对光谱图像和偏振图像进行多尺度多方向分解,进而将图像分解成不同子带内的特征信息。其次,低频子带采用稀疏表示融合,从而降低融合图像中物体对比度损失。此外,采用引导滤波器融合高频子带,以增强图像轮廓细节信息。最后,对低频与高频融合系数进行非下采样轮廓波逆变换,最终得出融合图像。分析表明融合图像对比度相对于原始光谱图像与偏振度图像分别提升了54.5%和15.4%,更容易区分混杂背景下阴影中的物体。基于此方法对偏振光谱成像仪所采集的不同波长下的光谱与偏振图像进行融合,并实现真彩还原。真彩还原图像证明此融合方法在保留混杂背景下的环境信息的同时实现了物体和背景的有效区分,有效提高了偏振光谱遥感探测成像的图像质量,有助于提升偏振光谱遥感探测成像中图像信息的完整性和真实性,扩大其在复杂环境遥感探测和图像识别中的应用范围。

基于注意力机制与光照感知网络的红外与可见光图像融合

部分图像融合方法未充分考虑图像环境的光照状况,导致融合图像中出现红外目标亮度不足以及整体画面亮度较低,从而影响纹理细节的清晰度.为解决上述问题,提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法.首先,在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率,将其运用至融合网络损失函数中,用以指导融合网络训练;然后,在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取,得到空间显著信息后,输入卷积神经网络(CNN)以提取深度特征;最后,将深度特征信息进行拼接用于图像重建,进而得到最终的融合图像.实验结果表明:本文方法的互信息(MI)、视觉保真度(VIF)、平均梯度(AG)、融合质量(Qabf)与空间频率(SF)较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%;融合后的图像能够有效保留红外目标亮度,且包含丰富的纹理细节信息.

面向双模态夜视图像的混合尺度融合算法

针对传统红外与可见光图像融合算法存在的细节模糊、对比度降低、背景信息缺失等不足,提出了一种基于混合尺度的红外与可见光融合方法。通过潜在低秩表示变换将源图像分解低秩子带和显著子带;利用非下采样轮廓波变换将低秩子带继续分解为低频分量与高频分量;针对显著子带采用基于卷积稀疏表示的方法进行融合;并结合全局均值、区域均值与能量的优势融合低频分量;利用权重决策图融合高频分量。基于自建库及公开库的实验结果表明,与其他5种图像融合算法相比,所提算法在充分继承源图像有效信息的同时,融合图像整体对比度更均衡,有效提升了融合图像的清晰度,包含更丰富的图像细节信息,在主客观评价上均取得了更好的效果。

线性变换与局部均衡融合的红外图像增强

为了改善红外图像的效果,提升对比度和清晰度,丰富边缘细节信息,提出了融合线性变换和局部均衡的红外图像增强方法。利用图像的像素值分布,对像素值进行自适应的分段线性变换,并用局部的直方图均衡增强图像;分别计算两张增强图像的权重图。对比度权重、显著性权重和亮度分布权重;以拉普拉斯金字塔和高斯金字塔的方式,分别对增强图像和权重图进行分解,将分解的图像与权重图进行多尺度线性融合,获得效果理想的增强图像。结果表明,相对于现有方法,本文中提出的方法增强图像的视觉效果更清晰,信息熵、平均梯度和变异系数分别比现有方法高出9.03%、23.87%和9.97%以上。该研究可更有效地提高红外图像增强的性能。

基于目标增强与鼠群优化的红外与可见光图像融合算法

针对传统红外与可见光图像融合结果存在目标模糊、信息丢失问题,提出一种基于目标增强与鼠群优化的红外与可见光图像融合方法,记为TERSFuse。为了减少融合结果中原始图像细节信息丢失,分别构建了红外对比度增强模块和基于亮度感知的可见光图像增强模块;利用拉普拉斯金字塔变换对红外和可见光增强图像进行多尺度分解,从而得到对应的高、低频图像;为了使融合结果充分保留原始图像信息,分别采用“最大绝对值”规则对红外和可见光高频图像进行融合以及通过计算权重系数对低频图像进行融合;设计了基于鼠群优化的图像重构模块以实现高频图像和低频图像重构权重的自适应分配,进而提高融合图像的视觉效果。为了验证所提算法优势,与7种经典融合算法进行比较,实验结果表明所提算法不仅具有良好的视觉效果,而且融合图像能够保留原始图像丰富的边缘纹理和对比度信息。

基于信息增强和掩码损失的红外与可见光图像融合方法

针对低光场景下红外与可见光融合图像中存在的细节弱化和边缘模糊等问题,提出一种基于信息增强和掩码损失的图像融合方法。首先,采用引导滤波增强可见光图像的纹理细节和红外图像的边缘梯度;其次,构建双分支特征提取网络提取不同模态图像的特征信息,并设计交互增强模块以渐进交互的方式集成不同特征分支的互补信息,增强特征的细节表示;然后,在融合阶段设计注意力引导模块从空间和通道维度上关注特征信息,提升网络对关键特征的感知能力;最后,提出一种掩码损失以指导融合网络有针对性地保留源图像信息,提升融合质量。为验证所提方法的融合性能,在MSRS、TNO和LLVIP公开数据集上与9种主流的融合算法进行实验对比。结果表明,所提方法在定性和定量评估上均优于其它对比算法,生成的融合图像具有丰富的纹理细节、清晰的显著性目标和良好的视觉感知。

基于PCNN图像融合的ECT多相流测量系统设计

针对ECT在多相流测量过程中存在的成像质量不高、精度低、稳定性差等问题,提出并实现了基于PCNN图像融合的ECT多相流测量系统。系统采用模块化设计,主要包括阵列电极传感器模块、电容采集电路模块、上位机成像软件模块。文中设计改进的网络模型,将Tikhonov和Landweber算法的成像结果作为输入进行双通道融合成像,改善了传统算法存在的伪影、模糊的现象。实验结果表明:应用尼龙棒模拟气固两相流对系统进行测试,系统对于微小电容的测量具有良好的稳定性和准确性,通过系统的成像结果可以准确地分辨管道内不同介质的位置,其中对于流型的预测成功率为100%,相含率的测量误差在1%以内。

基于内外混合图像先验与图像融合的DIP改进降噪模型

为提高无监督深度图像先验(DIP)降噪模型的降噪性能,该文提出了一种基于内外混合图像先验与图像融合的DIP改进降噪模型(IDIP),该模型由样本生成和样本融合两个相继执行的模块组成。在样本生成阶段,首先利用2个分别来自内部和外部先验且有代表性的降噪算法(模型)处理噪声图像以产生2张初始降噪图像。基于这2张初始降噪图像,使用空间随机混合器按照各自50%混合比例随机生成足够多的混合图像作为DIP降噪模型的第2目标图像并与第1目标图像(即噪声图像)构成双目标图像。然后,每次使用不同的随机输入和双目标图像,多次执行标准DIP降噪流程生成多张具有互补性的样本图像;在样本融合阶段,首先为了获得更好的随机性和稳定性,随机丢弃50%的样本图像。然后,采用无监督融合网络在样本图像上完成自适应融合,获得的融合图像的图像质量相对参与融合的样本图像得到再次提升,作为最终降噪图像。在人工合成噪声图像上实验表明:IDIP降噪模型较原DIP降噪模型在峰值信噪比评价指标上有约2 dB的提升,且较大幅度超过了其他无监督降噪模型,逼近了有监督降噪模型。而在实际真实噪声图像上,其降噪性能较各对比方法更具鲁棒性。

多尺度融合图像去雾方法

图像去雾能够使视觉系统适应不同的天气状况.为克服传统暗通道先验方法会在物体边界区域形成光晕效应的问题,提出一种用于估计有雾图像透射率的多尺度融合算法.应用不同大小的最小值半径得到多尺度的透射率估计值,再根据局部区域像素具有类似的透射率值这一现象,对透射率图进行多尺度融合,选择小透射图区域中最亮的像素来计算大气光值,最后使用大气散射模型恢复清晰图像.分别从视觉效果和量化指标两个方面,对比所提方法与传统的基于先验和基于深度学习的去雾方法在进行图像去雾后的效果.结果发现,针对4种典型场景,采用本研究算法去雾后的重构图像能够保留更多的结构、细节和颜色信息,避免了过分增强和边缘部分的雾残留问题,视觉效果均优于对比方法;量化指标峰值信噪比和结构相似性均高于对比方法,分别为15.65和0.78.