典型场景彩色夜视融合图像质量主观评价实验

评价特定场景下红外和可见光(微光)彩色融合图像质量的研究对彩色夜视融合技术和嵌入式系统开发具有重要作用。由于主观评价实验能够得到与人眼感受一致的评价结果因而成为研究的热点。因此,该文针对海天、森林、城镇、乡村和特殊条件五个典型应用场景,提出基于动态参考的多刺激比较主观评价法,开展了大规模典型场景彩色融合图像主观评价实验,建立了包含1648幅彩色融合图像的质量主观评价数据库;此外,提出基于评价实验特性的模糊综合评判方法用于分析不同融合算法的场景适用性。实验数据一致性分析中,该主观评价法具有较高的皮尔逊相关系数,表明本文构建的数据集具有良好的有效性与可靠性。该文结果可为进一步开展夜视融合图像质量评价研究提供实验基础和理论依据。

双波段彩色融合图像色彩和谐性客观评价

针对现有的图像质量评价方法较少利用人眼视网膜和视觉皮层的颜色编码机制,并且未能充分考虑图像色彩信息对图像质量的影响,提出了一种基于多视觉特征的可见光(微光)与红外彩色融合图像色彩和谐性客观评价模型.该模型在图像质量评估中融入了更多的颜色信息,综合考虑多种人眼视觉特征包括视觉对立色彩特征、色彩信息波动特征和高级视觉内容特征,经过特征融合和支持向量回归训练,实现彩色融合图像的色彩和谐性客观评价.采用3种典型场景融合图像数据库进行实验比较与分析.实验结果表明,与现有的8种图像质量客观评价方法相比,所提出的方法与人眼主观感受更加一致,具有较高的预测准确度.

基于场景理解的双波段彩色融合图像质量评价

为了针对具体的视觉任务衡量可见光与红外彩色(夜视)融合图像的综合质量,提出了一种基于场景理解的双波段彩色融合图像综合质量客观评价模型.该模型包括融合图像特征提取器、邻域共生矩阵特征提取器和权重生成器三部分.首先,使用融合图像特征提取器从融合图像中提取像素强度信息;然后,建立邻域共生矩阵特征提取器,从邻域共生矩阵中提取像素空间关系信息;最后,建立权重生成器,使用神经网络模型从梯度图中提取结构信息,将位置信息与结构信息相结合生成权重.实验结果表明,该方法在提取丰富的图像特征基础上,考虑人眼视觉特性,提高了模型预测值与人眼主观感受的一致程度,实现了融合图像综合质量的客观评价.

生成式双波段彩色融合图像质量评价

为了解决融合图像数据量有限的问题,提出了一种生成式双波段彩色融合图像质量评价方法。该方法基于对抗生成网络生成伪彩色融合图像,在训练过程中考虑了结构的不相似性,为伪彩色融合图像加入不同程度的无序变量生成新的数据集。使用孪生网络在伪彩色融合图像数据集中进行预训练,在真彩色融合图像数据集中进行微调,对彩色融合图像质量进行评价。实验结果表明,生成式双波段彩色融合图像质量评价方法的计算结果与人眼主观感受具有较高的一致性,可以有效地对彩色融合图像进行客观评价。

基于RGBD融合图像及改进U-net的轨道区域分割方法研究

传统的轨道分割方法无法满足列车运行时对轨道区域感知的实时性和准确性要求。文章研究基于RGBD融合图像及改进U-net的轨道区域分割方法,将RGB图像与深度图像进行融合,获得RGBD融合图像,将其输入到改进后的U-net中,建立轨道区域分割模型。经实验验证,与仅输入RGB图像的U-net模型相比,轨道区域分割模型的F1值提升了约0.28,平均交并比提升了约0.1,像素准确率提升了0.0026,证明其对轨道区域分割的精确度更高,同时,验证了该模型的网络性能也得到了显著提升。

深度融合图像文本特征的文本引导图像修复

为解决现有文本引导图像修复模型在处理文本图像融合时模态间信息缺乏高效融合导致修复结果不真实且语义一致性差的问题,提出一种通过条件批量归一化融合图像文本特征实现文本引导的图像修复模型BATF。首先,通过空间区域归一化编码器对破损和未破损区域分别归一化,减少了直接特征归一化对均值方差偏移的影响;其次,将提取的图像特征与文本特征向量通过深度仿射变换进行融合,增强了生成器网络特征图的视觉语义嵌入,使图像和文本特征得到更有效的融合;最后,为增强修复图像的纹理真实性及语义一致性,设计了一种高效鉴别器并引入了目标感知鉴别器。在CUB bird这个带有文本标签的数据集上进行定量和定性实验表明,提出模型在PSNR(peak signal-to-noise ratio)、SSIM (structural similarity)以及MAE(mean absolute error)度量指标分别达到了20.86、0.836和23.832。实验结果表明,BATF模型对比现有的MMFL和ALMR模型效果更好,修复的图像既符合给定文本属性的要求又具有高度语义一致性。

基于改进YOLOv7的融合图像多目标检测方法

针对微光环境下目标检测精度较低的问题,提出了一种基于改进YOLOv7的微光与红外融合图像的多目标检测方法。结合可见光、红外图像的优点,利用生成对抗网络法制作融合图像数据集。在YOLOv7模型中引入BoT结构,使网络更加关注整体图像信息,提升特征提取能力,从而提高行人和汽车检测的准确率,并将回归损失函数由CIoU改进为SIoU,降低自由度,加速网络收敛,得到了YOLOv7的改进算法—BoT-YOLOv7。在公开数据集LLVIP和MSRS上进行了实验。结果表明:相比可见光或红外图像,BoT-YOLOv7对融合图像的检测精度较高;改进算法对融合图像取得了92.6%的平均精度均值,较原始YOLOv7模型提高了5.83%;BoT-YOLOv7算法在检测行人和汽车等目标时漏检和误检率较低,具有较好的准确性和实时性,可以满足微光环境下多目标探测的要求。

基于偏振自适应融合图像的水下物证探测方法

偏振探测技术能够在复杂的背景环境中凸显出目标,为我们提供了更为清晰和精准的目标识别能力。然而,在法庭科学领域上,利用偏振成像技术对水下物证进行探测搜寻的研究仍属空白。针对这一问题,本文通过偏振成像装置,对目标强度图像和偏振度图像进行融合。利用非下采样剪切波(non-subsampled shearlet transform,NSST)对图像进行分解后,在高频子带提出了参数自适应的简化型脉冲耦合神经网络模型,在低频子带则采用一种基于区域能量的自适应加权融合规则。在可见光下,对3类典型目标进行相关算法比对实验。实验结果表明,通过偏振成像技术可有效探测到水下物证,利用本文提出的图像融合算法有效突出了水下物证的细节特征,验证了偏振探测技术对水下物证成像的有效性,有利于突破当下法庭科学领域水下物证探测技术的空白。

彩色融合图像的质量主观评价

考虑人眼主观评价在彩色融合图像质量评价中的重要作用,设计了52人的彩色融合图像质量主观评价实验。采用"目标背景的感知对比度","清晰度","颜色协调性","颜色自然感"4个单一评价指标以及"基于目标探测的图像感知质量","基于场景理解的图像感知质量"2个综合评价指标对绿地、海天和城镇3类典型场景、8种融合算法获得的240幅彩色融合图像进行了主观评价,并依此进行指标分值归整及相关性分析,建立了2个综合指标的预测模型。实验结果表明:彩色融合图像的"颜色协调性"和"颜色自然感"有较高的相关性;基于目标探测的图像感知质量可用"目标背景的感知对比度"和"清晰度"来描述,基于场景理解的图像感知质量可用"颜色协调性"和"清晰度"来描述。但是对于不同的场景,每个指标的影响效果不同,所以预测模型中的权重系数不同。

基于颜色协调性的典型场景彩色融合图像颜色质量评价

提出典型场景双波段彩色融合图像颜色协调性模型,实现图像颜色质量的无参考评价.通过衡量海天、绿色植物这类自然场景融合图像颜色与对应典型类记忆色的相似度,以及选择城镇建筑物图像的最佳色彩度范围,计算三种典型场景图像色彩与场景内容的协调性;在颜色组合协调性模型基础上,将颜色区域面积之和作为加权系数构造图像中不同大小颜色区域组合加权协调性模型.主观评价实验结果表明,综合这两方面提出的协调性模型计算结果与人眼主观感受具有较好的一致性,可以有效地对典型场景彩色融合图像颜色协调性进行客观评价.

基于视觉感知的融合图像质量评价

在分析传统的图像质量评价方法及其缺陷的基础上,指出将HVS特性引入图像计测方法中的必要性;同时,对融合图像质量评价现状及虚拟照相系统进行了深入的研究,鉴于虚拟照相系统研究的特殊性,建立了一套适合娱乐照相领域融合图像的质量评价方法,并给出实验分析。

SPECT/CT融合图像与全身骨显像对骨转移瘤诊断的价值分析

目的探讨SPECT/CT融合图像与全身骨显像(whole-body bone scintigraphy,WBBS)对骨转移瘤的价值比较。方法回顾性分析我院80例可疑肿瘤骨转移性病变患者行WBBS及SPECT/CT断层图像融合,所有结果都通过病理或进一步随访等方式确诊。分别计算并比较两种结果对病例及病灶诊断的灵敏度、特异度、阳性预测值、阴性预测值、正确诊断百分率。结果 80例患者骨转移61例,19例为良性病例,258处病灶中,骨转移202处,良性病灶为56处。WBBS对病例及病灶诊断的灵敏度分别为82%和89.1%,特异度分别为42.1%和31.7%,阳性预测值分别为82%和84.7%,阴性预测值分别为42.1%和40.6%,准确率72.5%和78.1%。SPECT/CT对病例及病灶诊断的灵敏度分别为98.4%和98%,特异度分别为52.6%和76.8%,阳性预测值分别为87%和93.8%,阴性预测值分别为90.9%和91.5%,准确率为87.5%和83.4%。两组数据均经过χ2检验,P<0.05。结论在骨转移瘤的诊断中,SPECT/CT融合图像较WBBS明显更具有诊断价值。

一种定量确定遥感融合图像空间分辨率的方法

提出了一种利用多分辨率图像模板库来定量确定遥感融合图像真实空间分辨率的方法。实验结果表明,该方法简单实用、易于实现。

基于CNN的红外与可见光融合图像的场景识别

针对传统场景识别算法中存在的场景内容相似、场景识别率低的问题,提出一种基于卷积神经网络的红外和可见光融合图像的场景识别算法。采用像素加权融合算法对红外和可见光图像进行融合,以丰富图像的细节信息;利用改进的卷积神经网络模型提取融合图像的有效特征,将其作为目标的分类特征实现场景识别。在RGB-NIR数据集上进行场景识别实验,实验结果表明,所提算法相对其它方法在分类精度、目标识别率上均有一定的提高。

信息融合图像识别算法及其在三维飞机图像识别中的应用研究

将D S证据推理与不变矩理论相结合,提出了信息融合图像识别算法,并应用于三维飞机图像的识别。构造了基本置信指派函数,建立了分类规则,针对Dempster组合规则只适用于高置信度、低冲突性的情况,应用可解决证据冲突的加权分配冲突法及吸收法,完成了三维飞机图像识别的仿真,比较了3种组合规则的识别效果,结果表明吸收法识别率最高。

SPECT-CT融合图像评价原发性肝癌骨转移的增益价值

目的探讨SPECT-CT融合图像评价原发性肝癌骨转移的增益价值。方法回顾性分析临床诊断为原发性肝癌、排除其他恶性肿瘤病史且行全身骨显像及局部SPECT-CT融合图像检查的254例患者的临床资料,根据患者综合表现诊断为肿瘤骨转移和无肿瘤骨转移,以手术病理或随访结果为最终诊断标准。分别计算并比较全身骨显像、SPECT-CT融合图像诊断的灵敏度、特异度、阳性预测值、阴性预测值和正确诊断百分率。结果 254例患者中确诊肿瘤骨转移111例,无肿瘤骨转移143例。SPECT-CT融合图像诊断的灵敏度(93.6%)、特异度(93.7%)、阳性预测值(99%)、阴性预测值(100%)、正确诊断百分率(93.3%)均高于全身骨扫描(42.3%、74.8%、95.7%、92.5%、56.7%)。结论评价肝癌骨转移时,SPECT-CT融合图像较全身骨显像更具有增益价值。

双能CT融合图像在人工智能肺结节筛查中检测效能的探索研究

目的探索双能CT融合120 kVp图像在人工智能(Artificial Intelligence,AI)辅助诊断软件肺结节筛查中的检测效能。方法收集我院行双源CT肺结节筛查的患者381例,随机分为单源扫描(A组)和双能扫描(B组)两组。A组183例,管电压为120 kVp;B组198例,管电压为双源100/Sn 140 kVp,两组均采用CareDose 4D技术。记录容积CT剂量指数(CTDIvol)值、剂量长度乘积(Dose-Length Product,DLP)值。使用AI软件对图像进行结节检测,记录结节的大小、位置、类型(实性、亚实性)。统计AI软件检测全部结节数、不同大小结节数(≥4 mm、<4 mm)、不同类型结节数(实性、亚实性),并结合金标准得到相应的真阳数、假阳数、漏诊数,计算相应的结节检测敏感度、精确度和假阳性率,比较两组间的差异,P<0.05为差异具有统计学意义。结果B组图像的肺结节检测敏感度高于A组(P<0.05),辐射剂量低于A组(P<0.05),同时,B组肺结节检测总的假阳性率低于A组。结论双能融合120 kVp图像在AI软件肺结节检测中的检测效能优于单源扫描120 kVp图像,其辐射剂量更低,更加适用于AI软件肺癌筛查。

夜视抗晕光融合图像自适应分区质量评价

针对夜视晕光场景中,高亮度晕光信息导致现有红外与可见光融合图像评价方法失效的问题,该文提出一种自适应分区的融合图像质量评价方法。该方法根据可见光图像的晕光程度自动确定自适应系数,并通过迭代计算可见光灰度图像的晕光临界灰度值,将融合图像自动分为多个晕光区和非晕光区;在晕光区由设计的晕光消除度指标评价融合图像的晕光消除效果;在非晕光区从融合图像自身特性、对原始图像信息保留程度以及人眼视觉效果3方面评价融合图像纹理色彩等细节信息的增强效果;通过对4种不同抗晕光算法的融合图像进行评价分析,甄选出9种客观评价指标构成夜视抗晕光融合图像质量评价体系。不同夜视晕光场景下的实验结果表明,所提方法能够全面、合理地评价红外与可见光融合的抗晕光图像质量,解决了融合图像晕光消除越彻底客观评价结果反而越差的问题,也适于评判不同抗晕光融合算法的优劣。

灰度融合图像目标与背景感知对比度客观评价模型

目标与背景感知对比度是影响可见光与红外灰度融合图像质量的主要因素之一。现有的对比度评价模型未能充分考虑人眼视觉特性。因此,基于韦伯对比度模型的形式,结合人眼亮度掩盖特性,提出了一种简单有效的融合图像目标与背景感知对比度评价模型。利用模拟图像和现实场景灰度融合图像的主观评价分数来检验客观评价模型。结果表明,与现有的5种图像对比度评价模型相比,所提出的目标与背景感知对比度客观评价模型能够给出更接近人眼主观感受的评价结果,有效地实现灰度融合图像目标与背景感知对比度的客观评价。

可见光与红外融合图像反射与辐射光谱分析

可见光图像与红外图像融合是近年来热门的研究领域。根据日光的光谱分布、目标的反射系数以及黑体的红外辐射,详细分析了人体、深色涂层、高温玻璃杯等常见目标的反射辐射光谱分布和红外辐射光谱分布。利用研制的可见光与红外融合图像采集系统,采集了常见目标的可见光与红外融合图像,得到了从可见光波段到红外波段融合图像的全光谱曲线。对可见光图像和红外图像进行了对比,比较的结果表明,融合图像具有包含反射辐射和红外辐射的双重特性,使其光谱从单一的可见光波段或者红外波段拓展到从0.39μm到15μm的全波段。融合图像的信息量增加的根本原因是光谱信息的叠加。