线性变换与局部均衡融合的红外图像增强

为了改善红外图像的效果,提升对比度和清晰度,丰富边缘细节信息,提出了融合线性变换和局部均衡的红外图像增强方法。利用图像的像素值分布,对像素值进行自适应的分段线性变换,并用局部的直方图均衡增强图像;分别计算两张增强图像的权重图。对比度权重、显著性权重和亮度分布权重;以拉普拉斯金字塔和高斯金字塔的方式,分别对增强图像和权重图进行分解,将分解的图像与权重图进行多尺度线性融合,获得效果理想的增强图像。结果表明,相对于现有方法,本文中提出的方法增强图像的视觉效果更清晰,信息熵、平均梯度和变异系数分别比现有方法高出9.03%、23.87%和9.97%以上。该研究可更有效地提高红外图像增强的性能。

基于像素聚合的自然场景文本检测模型

针对自然场景文本检测面临的文本形状差异大、场景复杂干扰多等诸多挑战,提出了一种基于像素聚合的自然场景文本检测模型。首先,设计了上采样和长短跳跃的嵌套巢式连接的特征融合模块,通过融合残差网络ResNet18提取的多尺度、多阶段的特征,增强网络特征提取的能力;其次,基于聚类的思想,引入像素聚合约束外围像素与文本中心区域的距离,实现复杂自然场景下的任意形状文本描述;最后,通过轻量级文本检测头实现像素级的字符分割,提高模型的效率。在ICDAR2015、CTW1500以及构建的工业字符数据集上对所提模型进行验证,结果表明该模型能胜任复杂自然环境下的文本检测任务,且在检测精度和检测效率上均优于现有先进文本检测器。

基于局部加权非相干区域监督的葡萄精确分割算法

精确实例分割作为葡萄产业园中智能化农艺管理的一项关键技术,对于智慧葡萄园的自动化管理具有重要意义。由于葡萄生长密集、重叠现象严重,传统Mask R-CNN算法分割葡萄时存在实例边缘不准确且重叠区域易错的问题。针对上述问题,提出一种基于局部加权非相干区域监督的葡萄精确分割算法。嵌入额外的非相干区域预测分支,提取葡萄的非相干区域(边缘)和局部非相干区域(重叠边界);对于提取到的上述区域掩码进行加权监督,增强网络对易错区域的特征提取能力;基于像素亲和的多任务融合模块被提出,用于建模非相干分支和掩码分支间的像素亲和关系,进一步提升网络分割性能。利用该方法在与YOLACT++、Mask R-CNN、SOLOv2等实例分割网络在不同的评价指标上进行比较,实验结果表明该方法具有较好的分割性能,可以精确分割出葡萄边界及实例重叠区域。

基于多尺度特征融合的水下细粒度目标识别方法

复杂水下环境和光照条件给水下细粒度目标识别带来严峻挑战。本文在光学传感器数据和红外传感器数据的基础上,采用多模态信息融合技术提出基于多尺度特征融合的水下目标识别方法。首先,在3个尺度下分别融合水下目标多模态特征,为了减小水下多模态特征的信息丢失,对低级多模态特征进行融合以获取目标边缘细节信息,考虑水下复杂环境导致目标间的较大差异,融合中级多模态特征以获取提高特征表达能力和准确性,为了利用丰富的语义信息,引入协同注意力机制对高级多模态特征的像素级相关性进行建模,提取细粒度的水下目标类别信息。其次,在解码器中将不同尺度下融合后的特征表示逐步上采样以提高特征的空间信息,并与同尺度特征表示进行相加融合,进一步增强特征表达的准确性和稳定性。最终,将特征表示与标签特征图进行比较,获得像素级的分类结果,完成水下细粒度目标识别任务。通过单模态和多模态水下数据的实验结果对比分析,验证本文提出的方法在水下目标识别任务上取得了更优的识别性能。

基于背景分割法的数码迷彩设计及伪装性能评估

针对自然环境中作战人员及军事设备的伪装隐蔽性问题,提出了一种基于背景分割法的数码迷彩设计方法。首先,通过分析环境场景的特征,采用特征提取技术,确定最佳的迷彩图案元素。其次,利用背景分割法进一步细化数码迷彩图案的色彩分布占比,使数码迷彩图案置于环境场景的任意位置都能保持良好的伪装隐蔽效果。最后,运用ResNet-50深度神经网络模型和Mask R-CNN迷彩目标分割模型对基于背景分割法设计得到的数码迷彩图案进行伪装隐蔽性能评价。结果表明,相比于传统迷彩设计方法,此方法得到的数码迷彩图案的伪装隐蔽性能显著提升,隐蔽融合度均值提高至99.00%以上,环境场景的相似度提高20.41%,平均分割识出率降低82.21%。

基于增强多层次特征融合的自然场景文本检测

针对自然场景图像中未聚焦小文本、复杂背景文本以及宽间距弯曲文本等造成的检测难题,提出了一种基于增强多层次特征融合的自然场景文本检测方法,该方法包括局部注意力特征增强(Local Attention Feature Enhanced,LAFE)模块和多层次增强特征融合(Multi-level Enhanced Feature Fused,MEFF)模块。LAFE模块通过堆叠空洞卷积扩大网络感受野,结合通道与空间注意力来增强像素点分类能力;MEFF模块作为多层次增强特征连接分支,引入可变形卷积来增强特征图之间的信息融合。实验结果表明,所提方法在常用文本数据集上取得了较好的性能,其中,在ICDAR2015、Total-Text数据集上的综合指标F分别达到了88.1%和86.5%,相比原方法分别提升了0.8%和1.8%。

深度卷积网络环境下基于插值算法的图像融合研究

针对现有图像融合算法融合效果差、效率较低的不足,在深度卷积网络环境下提出一种图像插值算法.先对原始图像进行滤波、分割等预处理,使图像具备融合的可能性;然后构建深度卷积神经网络,为提升训练性能,采用了双卷积层和池化层的结构设计,同时选用Tanh激活函数提升模型泛化能力;基于方差梯度建模,并采用邻域像素法插值,使融合后的图像像素平滑过渡,强化了融合图像的细节并改善图像的质量.实验结果显示:提出算法的图像融合质量评估指标均优于传统融合算法,且处理训练集和测试集的耗时更短.

基于图像融合的高压隔离开关分合闸状态识别

为了解决现有隔离开关分合闸状态识别率较低的问题,提出了一种基于NSST-PCNN-IFVSS的图像融合方法。在对红外和可见光图像的预处理阶段进行图像配准,再采用像素级融合来实现两图像的融合。在融合阶段采用非下采样剪切波变换将红外和可见光图像分解为高频子带图和低频子带图,在高频子带图部分采用脉冲耦合神经网络进行融合,在低频子带图部分采用基于视觉显著特性分割的图像融合方法进行融合,通过非下采样剪切波变换的逆变换将两个子带图像结合起来得到融合后的图。建立融合质量指标评价方案来对比本方案与常见的图像融合方案的效果。对融合后的图像进行像素积分投影算法进行处理,进而实现对高压隔离开关分合闸状态进行识别。通过实验仿真验证了NSST-PCNN-IFVSS(Non Subsampled Shearlet Transform-Pulse Coupled Neural Network-Image Fusion based on Visual Salience Segmentation)的图像融合效果优于常见的6种融合方法,且图像融合后的识别结果优于单一的可见光图像和红外图像。

基于深度像素级特征的孪生网络目标跟踪方法

目标尺度变化和低分辨率的复杂场景往往会影响目标跟踪算法的性能进而导致跟踪精度下降。针对此问题,提出了一种基于深度像素级特征的孪生网络目标跟踪方法。引入像素级特征融合方法对目标模板和搜索区域的多层特征进行融合、设计基于残差网络和拓扑结构的特征深层提取模块、依据判据筛选历史信息得到合适模板特征进行模板更新。实验结果表明,所提改进算法在VOT2018数据集上比基础算法的EAO值提升了5.31%,准确率提升了0.83%,鲁棒性提升了3.85%;在OTB100数据集上,所提算法精确率为91.4%,成功率为71.7%,与基础算法相比,精确率提升了3.28%,成功率提升了5.13%。

基于像素注意力特征融合的城市街景语义分割算法研究

针对城市街景数据集中存在小目标和大量长条形状物体,分割难度大,虽然目前编码解码结构的网络能细化分割结果,但大多数都没有充分利用空间和上下文信息,因此本文提出一种基于像素注意力特征融合的语义分割算法。首先以ResNet50作为骨干网络,利用空洞空间卷积池化金字塔和条状池化进行初步特征融合,获得多尺度特征的同时规避无用信息;然后利用像素融合注意力模块,聚合上下文信息并恢复空间信息,最后利用注意力特征细化模块消除冗余信息。该算法在CamVid数据集上进行实验,结果表明该算法在验证集上能达到75.22%的mIoU,在测试集上也能达到67.21%。相比于DeepLabv3+网络分别提升了2.51%和2.86%。

基于特征融合的图像超分辨率

近年深度卷积神经网络在图像超分辨率领域取得了巨大成功。然而多数基于深度卷积神经的超分辨率模型不能很好地利用来自低分辨率图像的各级特征,从而导致相对较差的性能。本文采用全局特征融合的方法,对全局多层次特征进行联合学习,充分利用各卷积通道特征,通过全局跳跃连接,使网络更注重高频信息的学习,并采用亚像素卷积实现上采样重建,取得了更好的效果。

改进YOLOv5的轻量化交通标志检测算法

随着当今时代科技和人工智能的高速发展,人们越来越倾向于无人驾驶这项技术。考虑到安全问题,针对驾驶过程中交通标志的实时检测问题,在YOLOv5模型的基础上做出改进,提出了一种轻量化的交通标志检测算法。在模型的特征融合部分加入了注意力机制,可以使模型更加突出目标特征。在检测层前加入一种轻量化的亚像素卷积层,在不增加计算量的基础上,有效地提高检测特征图的分辨率。对损失函数CIoU(Complete intersection over union)加以改进,加快了网络的收敛速度,并且收敛效果较改进前有了一定提升。实验结果表明,本文模型准确率可达到90.6%,较基础网络提高了14.5%,检测速度可达到70帧/s,基本满足对交通标志的实时精准检测。

从全局到局部:双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明:对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度,设计的多级U型去雾网络和残差连接结构能够缓解细节丢失,提升去雾效果,获得清晰的图像。

信息融合背景下的网络安全态势感知模型及关键技术分析

本文基于信息融合构建的网络安全态势感知模型,可通过态势信息的采集、预处理、信息融合与态势评估,超前识别入侵事件,并对入侵事件的发展态势作出准确预测,以便于网络管理员提前采取预防措施,达到防患于未然的效果,维护网络资产设备的安全。在网络安全态势感知与评估中,主要应用到了Hyperic-Sigar态势信息收集技术、NSSAP数据交换技术、决策级数据融合技术以及基于矩阵法的网络安全态势评估技术等关键技术。

基于注意力机制的特征融合的暗图像增强网络

暗图像能见度低、颜色失真、细节丢失,会对计算机视觉应用造成干扰。提出了基于无参注意力、高效通道注意力、像素注意力和通道注意力的特征融合的暗图像增强网络。提出的网络使用对抗式训练,具有提高图像亮度、增强图像颜色内容和细节信息的能力。算法增强结果的结构相似度(PSNR)和峰值信噪比(SSIM)均优于所对比的算法。

面向非均质区域的空间增强型时空融合模型研究

随着遥感技术的发展,遥感数据日益增加。然而,受传感器限制及云雨天气影响,单一传感器难以获取高时空分辨率的遥感影像,从而在一定程度上影响全球及区域环境变化研究。遥感影像时空融合理论与技术的发展为解决这一问题提供了有效途径。近年来,国内外学者提出了大量的时空融合算法,但对于复杂地表景观区域空间细节的融合仍存在挑战,地表非均质区域时空融合的精度有待提高。为此,本文提出了一种面向非均质区域的空间增强型时空融合模型。首先,基于混合像元分解原理与遥感数据空间特征尺度不变性假设,将低分辨率光谱变化降尺度为高分辨率光谱变化值;然后,基于不同分辨率遥感数据光谱关系的时间不变性假设,获得最终融合影像。试验结果表明,相对于常用融合模型STARFM、FSDAF,本文模型既能有效反映不同地物物候变化信息,同时能更好地保留地表的空间细节,增强了非均质地表覆盖区域融合影像的空间特征与效果;本文模型的均方根误差RMSE、相关系数r及结构相似性指标SSIM平均值分别达到0.024、0.898、0.897,相对于常用融合模型STARFM、FSDAF,RMSE平均值分别降低了6.71%和4.33%,r平均值分别提高了1.95%和1.74%,SSIM平均值分别提高了2.33%和2.08%。本文模型精度高,模型简单、易于操作,尤其在非均质地表覆盖区域能够取得良好的融合精度与效果,具有良好的应用前景。

一种实时多层融合注意力机制的语义分割方法

采用深度学习技术处理语义分割中像素损失问题的难点在于上采样过程不能完全还原像素,且现有多数网络模型为追求过高的预测精度导致结构复杂,预测效率降低,难以满足实时需求。针对以上问题,提出一种实时多层融合注意力机制的语义分割网络模型。该模型从两个方面精确还原像素,在保证较高处理精度的情况下达到更好的实时性。首先在U型网络横向连接中采用注意力机制与深浅层特征融合的方式构建高效的横向连接模块,其优势在于通过注意力机制关注更全面的上下文特征,以便为后续上采样过程提供尽可能多的像素信息;然后考虑到深层网络产生的特征点定位性更强,模型在上采样过程中采用深层特征进行像素定位修正,使得像素还原更加精确,并且可以更好地解决预测结果边缘平滑问题;最后采用轻量级模型作为基础模型,在融合过程中多处采用1×1卷积进行降维。实验结果表明,在VOC和Cityscapes数据集输入图像大小为512×1024时,该模型可保持64帧/s的处理速度,平均交并比最高可达75.3%。

RPM-Net:融合多路注意和混洗的胸腔多器官分割算法

为了提高肿瘤周围健康器官分割的准确性,提出了基于U-Net结构,结合多路注意和像素混洗的网络模型:RPM-Net.网络使用融合转换残差模块,来捕获器官完整的空间背景.像素混洗模块作为上采样部分以得到高分辨率图像信息.在解码层使用多路注意融合模块,进一步提取器官的判别特征.在ISBI 2019 SegTHOR挑战赛中,对40个胸部多器官训练样本进行分割,以Dice系数和HD距离作为主要评判标准,该方法在测试样本中食道、心脏、气管和主动脉的Dice系数分别达到0.824 1、0.942 7、0.904 2和0.929 9,HD距离分别为0.401 1、0.176 1、0.224 7和0.271 6.实验结果表明:该算法在胸部多器官分割效果上更具竞争力.

多光谱图像与全色图像的像素级融合研究

以高空间分辨率的全色图像与高光谱分辨率的多光谱图像进行像素级双源融合为例 ,详细地总结了卫星多源遥感图像融合领域像素级融合的步骤、基本融合模型和优缺点 ,重点分析了各种常见像素级融合方法的原理和特点 ,并归纳了像素级融合结果的主客观评价标准和评价方法 ,以及像素级融合的主要应用领域 ,最后讨论了像素级融合目前存在的问题和今后的发展方向。

用基于IHS变换的SPOT-5遥感图像融合进行作物识别

遥感图像融合可以发挥多源遥感数据的优势。但是由于遥感数据和融合模型的多样性,目前仍难以找到一种适合于各种类型数据之间、各种应用需要的"万能"的融合算法,而是根据特定图像,特定地表覆盖状况和特定应用的需要选择适合的融合模型。SPOT-5图像是一种较新的高空间分辨率遥感图像,目前已用于运行化农情遥感监测,以弥补传统低空间分辨率遥感图像应用的不足。该文将SPOT-5多光谱和超模式全色图像进行融合,以进行中国东北地区大豆识别。对实验数据分别做基于IHS变换和PCA变换的融合处理,通过比较得出,基于IHS变换的融合方法用于SPOT-5遥感图像融合更利于东北大豆的识别。