基于对抗生成的轻量化红外图像增强网络

目前,红外成像技术在医学、安保、环境监测、军事探测等方面获得了广泛应用。然而,由于低成本红外成像设备的固有缺陷及大气环境对热辐射传导的影响,导致其采集的图像亮度较暗、细节模糊、对比度低,影响后续图像语义分析及目标检测识别等任务。传统基于模型的红外图像增强方法常需利用图像先验信息,模型参数与场景相关,模型泛化能力不强;基于深度学习的红外图像增强算法有助于增强红外图像质量,但结构冗余,不利于边缘端部署。生成对抗网络(GAN)可以通过判别器和生成器两个网络的轮流对抗训练显著提升红外图像增强效果,但网络训练参数量大,边缘端部署占用资源多,运算复杂度高。本文设计了一种基于对抗生成的轻量化红外图像增强网络,通过在GAN模型的基础上增加多层次特征融合结构并设计多尺度损失函数,提升了特征提取效率并减少了网络层数,在提升图像质量的同时提高了增强效率,利于算法的边缘端部署。实验表明,本文方法在同等参数量下,通过添加多层次特征融合结构和多尺度损失函数,兼顾了图像的全局和局部特征,保证了细节信息不丢失,在提高网络性能的前提下未明显增加计算复杂度;在红外图像增强效果相当的情况下,模型参数量降低75.0%,边缘端设备推断时间降低32.07%。

改进的YOLOv5s遥感影像机场场面飞机小目标识别

遥感影像具有地物拍摄模糊以及背景环境复杂等特点,导致大面积地面物体识别准确率较低。针对此问题,提出了一种基于YOLOv5s改进网络模型。该模型对YOLOv5s中的骨干提取网络和颈部多尺度特征融合网络进行优化,引入Swin Transformer以获得更多关于目标物体的特征信息;同时对骨干网络中的模块做了修剪;此外,模型中还添加了坐标注意力机制来提升特征提取和融合效果。对于遥感数据集进行了小目标检测识别测试实验,改进后的YOLOv5s网络的mAP值为0.8375,比YOLOv5s网络模型提高了0.0225。实验结果表明,改进后的YOLOv5s网络模型对比YOLO系列网络和EfficientDet模型有效地提高了识别准确率、召回率以及mAP值,并且在训练时间上也比YOLOv5s减少了1/12。

附加距离约束的导航相机快速标定方法

针对在轨条件下因观测条件匮乏导致巡视器导航相机标定精度受限的问题,提出了一种基于直线特征的导航相机快速在轨自标定方法。首先,利用SAM(segment anything model)对导航影像太阳能板区域进行图像分割,并对太阳能板OCR(optical control room)直线特征进行提取;然后,构建附加距离约束的导航相机自检校模型;最后,利用Levenberg-Marquardt方法对标定模型进行求解。开展了模拟实验及在轨实验。分析结果表明,相比光束法自标定、CAHVOR及Vanishing Points等标定方法,所提出方法标定参数重建的坐标精度平均值分别提升了20.60%、30.82%和35.92%,对太阳能板OCR距离恢复距离偏差范围在-1.4~1.5 mm之间。该方法可为巡视器导航相机在轨标定技术提供一定的价值参考。

基于OpenCV的双波长光纤导引光在高精度装调上的应用

为了保证双波长光纤导引光在高精度装调设备中的成功应用,设计了一种基于OpenCV(Open Source Computer Vision Library)的图像处理算法。采用主动调整曝光模式对CCD(Charge-coupled Device)相机进行主动调焦,利用OpenCV分析典型图像处理算法,调整算法参数,通过最小二乘法拟合图像,绘制中心坐标,最终实现输出理想的图像。经检测分析,图像校准的精度平均值为4.54μrad。该算法能够捕捉、识别并实时跟踪目标,将计算机识别的中心坐标打印到输出的图像上,提高了双波长光纤导引光对装调设备的装调精度。

面向电力输电场景概略点云的无人机巡航线自动生成

针对电力输电场景无人机自动巡检技术需求,提出一种基于概略点云的无人机巡航线自动生成方法。首先,采用基于边长约束的不规则三角网(TIN)区域生长方法,将电力输电场景概略点云区分割成不同区域,并在此基础上基于区域面积约束提取电力线走廊点云;其次,利用最小外接矩形方法实现电力线走廊点云分段处理,并根据每段点集的最小外接矩形信息生成初始巡航线位置;最后,采用点集中心进行初始巡航线的位置优化,实现巡航线的快速生成。实验结果表明,所提方法能快速实现电力输电场景点云的巡航线自动生成,对无人机巡航线实时提取及自主巡航具有一定的应用价值。

基于非局部操作和多尺度特征聚合的图像修复方法

为有效解决修复大范围破损图像时存在的纹理模糊和整体语义信息不连贯的问题,提出基于非局部操作和多尺度特征聚合的两阶段图像修复算法,在第1阶段,边缘重建网络生成整体的边缘结构信息;在第2阶段,引入非局部操作机制进行纹理细节信息的修复。在CelebA-HQ数据集上采用不同掩码率的图像进行性能验证,结果显示所提模型的PSNR和SSIM分别达到了32.17 dB和0.982;与EdgeConnect、RFR、CTSDG和AOT-GAN模型进行比较,结果表明:该模型对大范围破损图像能够生成纹理更加清晰且语义合理的修复图像,PSNR、SSIM和FID指标均优于其他4种算法。

融合双域特征均衡的遥感图像道路提取

当前遥感图像道路提取模型仍在很大程度上受道路植被遮挡所影响,导致网络模型对道路信息误判。为此,基于双域特征均衡提出了一种不受遮挡物影响的道路提取方法,高效地实现植被遮挡下的道路提取。具体而言,提出了一种新的道路提取卷积神经网络,该网络由去除遮挡子网络和道路提取子网络组成。在去除遮挡子网络中嵌入一个分层卷积模块用于提取输入图像的深层结构特征和浅层纹理特征,以及双域均衡模块用于特征还原,以此去除目标道路上的遮挡物。道路提取子网络用于对去除遮挡后的道路结构进行精细的分割,得到准确性更高的道路提取结果。通过在四川西南农村地区的遥感数据集上进行大量实验,结果显示基于双域特征均衡的方法相较于其他遥感图像道路提取方法在像素精确度(Overall Accuracy, OA)和交并比(Intersection over Union, IoU)指标上达到了最高,分别是98.16%和85.38%。

基于单阶段全卷积检测器的遥感图像形状自适应椭圆标签分配方法

基于无锚框的检测方法在目标检测领域中发展迅速。然而在遥感图像中,目标存在角度任意、密集排列以及形状差异大等难点,使得遥感图像的检测仍是一项挑战。为此,本文提出了基于单阶段全卷积检测器(FCOS)改进的无锚框检测方法。首先,为了挖掘更多潜在的高质量锚点,提出基于椭圆方程的形状自适应特征点采样方法。然后,为进一步降低边界低质量样本点的影响,提出椭圆中心度量方法,相较原有的中心度量方法提供更合理的权重。此外,针对分类与回归的不一致问题,提出交并比(IoU)联合指导策略,将椭圆中心度量与IoU得分相结合作为质量分数监督分类分支,进一步提升检测精度。在DOTA 1.0数据集上的平均精度达到了79.17%,优于现有多数无锚框检测算法。

基于向量叉乘标签分配的遥感图像目标检测算法

近年来遥感图像目标检测受到了广泛的关注,主流的遥感图像目标检测器通过预设锚框与真实框之间的交并比(IoU)进行正负样本的划分。为了解决基于IoU的标签分配方法在遥感图像小而密集目标中存在复检和漏检的问题,本文提出了一种基于向量叉乘标签分配的遥感图像目标检测算法YOLOXR。首先,提出了一种标签粗分配策略,通过向量叉乘的方法判断特征图的像素点是否在旋转目标内或者目标中心点附近的旋转正方形框内,从而确定其是否为候选正样本。其次,为了降低边缘低质量候选正样本对标签分配的影响,提出了旋转中心度量方法,通过向量叉乘判断像素点距离中心点的远近程度进而赋予不同的权重。最后,基于最优传输的方法(sim OTA)选取真实框和样本点的最优匹配对,使得总体代价最小,进而为旋转目标分配合适的标签。此外,为了解决旋转IoU损失不可导以及Smooth L1损失难以权衡旋转框各个参数的问题,通过计算真实框和预测框二维高斯分布的Kullback-Leibler散度(KLD)来替代IoU。在公开的遥感图像目标检测数据DOTA、HRSC 2016和UCAS-AOD上的大量实验表明,所提方法优于目前绝大多数旋转目标检测算法。

改进的局部最小像素先验遥感图像盲复原算法

为了解决遥感图像盲复原时模糊核估计不准确、复原图像存在振铃效应的问题,提出改进的局部最小像素先验遥感图像盲复原算法。该算法首先引入极端通道先验与局部最小像素先验结合,对图像的强度进行更好的约束,有利于得到更好的潜在清晰图像;然后采用基于梯度的方法估计模糊核,模糊核估计与中间潜在清晰图像估计交替迭代进行,获得较为理想的模糊核;最后引入联合双边滤波器,采用改进的拉普拉斯与正则化图像复原算法抑制图像复原的振铃效应。实验结果表明,本文方法对遥感图像复原效果较好,恢复的图像边缘清晰,振铃伪影得到抑制且模糊核较为理想;客观评价指标峰值信噪比(PSNR)较前沿复原算法平均提高约1.40 dB,结构相似度(SSIM)平均提高约0.02。

基于注意力网络尺度特征融合的遥感场景分类

针对遥感数据集存在的类内差异性大和类间相似性高的特点导致遥感场景分类准确率不高的问题,提出了一种基于注意力网络尺度特征融合(MSA-CNN)的遥感影像场景分类模型.将遥感图像经过尺度变换操作输入到VGG-16网络提取遥感影像的多尺度特征,使用多选框注意力模型(MS-APN)提取图像多尺度下的目标区域,对目标区域进行剪切和放大并输入到三层网络结构中.融合原始影像的多尺度特征和目标区域的特征,并且利用LBP对全局特征表达,克服遥感图像因拍摄角度不同带来的差异性.将融合的多尺度特征输入到网络全连接层来完成最终的分类预测任务.实验结果显示:MSA-CNN平均分类精度较注意循环卷积网络(ARCNet)和传统细粒度循环注意力网络(RA-CNN)在NWPU-RESISC45公开数据集上分别提升1.63%和2.66%,在UC Merced Land-Use公开数据集上较RA-CNN提升0.64%.结果表明:提出的MSA-CNN能够有效提高遥感图像场景分类的准确率.

基于YOLOv5的复杂背景下植物叶片检测研究

对植物叶片进行检测是研究植物表型性状的基础,但真实环境下叶片间相互遮挡、叶片边缘特征不明显、幼叶目标过小以及外部环境如光照条件等因素影响会对叶片检测效果造成很大的障碍。针对复杂背景下的叶片检测,该研究提出了一种基于改进YOLOv5模型植物叶片检测方法。通过在骨干网络中引入空洞卷积,使得网络可以捕获到更广阔范围的上下文信息;利用双向连接的加权特征金字塔网络,以增强目标叶片特征提取并更好地融合特征信息;利用注意力机制,通过动态地调整注意力分布,以提高边缘特征表达能力。测试结果表明,在Plant Village数据集筛选的葡萄叶片图像以及自拍摄葡萄生长叶片上测试改进算法的可行性,改进的YOLOv5模型其叶片检测mAP比原生模型提高了5.8%,遮挡叶片检测精度提高了7.09%。叶片检测效果有显著提升。该研究提出的方法可以有效解决复杂背景下植物叶片检测效果不佳的问题,为植物表型研究提供技术支撑。

多域特征引导的无监督SAR图像舰船检测方法

如何在合成孔径雷达(SAR)图像标注样本有限的条件下,提升舰船检测性能一直是SAR图像处理中的热点问题。本文提出一种多域特征引导的无监督域适应方法,将知识从有标注的源域(光学图像)转移到未标注的目标域(SAR图像),降低对标记SAR图像数据依赖。同时,设计了频域转换模块、注意力区域增强模块和自适应权重模块来缩小光学、SAR图像域之间的域差距,提高源域与目标域特征对齐效率,增强网络在挑战性样本下的特征迁移能力。在公开发布的数据集上进行了大量实验。结果表明:所提的模块较基础模型AP50提升10%,总体性能优于其他先进的方法。

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题,提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法.首先提出了一个全局层注意力机制(global layer attention,GLA),利用层注意力机制加权融合不同层级的全局特征,建模低分辨率与高分辨率图像特征间的长期依赖关系.同时,设计了跨尺度局部注意力机制(cross-scale local attention,CSLA),在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁,并融合不同尺度的补丁特征,以优化模型对图像细节信息的恢复能力.最后,提出一种局部信息感知损失函数来指导图像的重建过程,进一步提高了重建图像的视觉质量和细节保留能力.在UC-Merced数据集上的实验结果表明,本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法,并在视觉效果方面展现出更高的质量和更好的细节保留能力.

基于多模态神经网络的图像弱特征自增强仿真

随着计算机技术的快速发展,图像识别技术的应用也日益普遍,对目标图像进行特征增强的需求也进一步增加。为了解决当前图像特征增强算法特征提取能力差、图像噪声大等问题,提出了一种基于注意力机制的多模态神经网络增强算法。算法首先将图像数据、文本描述数据和相似数据集数据作为多模态数据输入,并使用卷积和线性变换使其被调整至同一维度;然后采用神经网络交互模块进行特征融合;随后采用注意力机制模块来加强局部相邻通道间的信息交流,采用池化层模块对目标特征进行增强;最后连接长短期记忆网络得到图像特征输出序列,从而达到特征增强的效果。实验结果表明,所提算法将峰值信噪比提升了8.39%,将边缘保护指数提升了5.15%,提高了弱特征自增强能力。

基于多分支空谱特征增强的高光谱图像分类

为了解决高光谱图像自身及分类过程中噪声干扰大、空间-光谱特征信息提取不足以及有限样本下分类性能不佳等问题,提出一种基于多分支空谱特征增强的高光谱图像分类模型SSFE-MBACNN。首先,利用多分支特征提取模块分别提取浅层空谱特征和深层空间特征信息,并引入注意力机制抑制噪声干扰。其次,设计一种改进多尺度空谱特征提取融合模块及结合双池化和空洞卷积的空间特征增强模块实现空谱特征增强,减少模型参数量和提高分类性能。最后,用全局平均池化层代替全连接层,进一步降低参数量,缓解模型过拟合问题。实验结果表明,在Indian Pines(10%训练样本)、Pavia University (5%训练样本)和Salinas(1%训练样本)数据集分别取得了0.990 7、0.997 5和0.994 7的总体分类精度。SSFE-MBACNN不仅能充分利用空谱特征信息,而且在有限样本下也取得了优秀的分类性能,明显高于其他对比方法。

半监督空谱局部判别分析的高光谱影像特征提取

为充分利用高光谱影像中蕴含的空谱特征,提出了一种半监督空谱局部判别分析的高光谱影像特征提取算法(S4LFDA)。鉴于高光谱数据集具有空间一致性,首先将像元进行空间重构,保存高光谱数据的近邻关系;其次引入光谱信息散度重构像元间的相似度;为了充分利用大量无标签样本提高算法性能,采用模糊C均值聚类算法对样本进行聚类分析得到伪标签;然后通过增加规范化项到局部力导引算法(FDA)的类内散度矩阵和类间散度矩阵中,以此保持无标签样本的聚类结构一致性;最后通过局部FDA算法来保持有标签样本类间散度最大化和类内散度最小化并求解最佳投影向量。S4LFDA算法既保持了数据集在光谱域的可分性,又保持了像元在空间区域内的近邻关系,合理利用有标签样本及无标签样本,提高了算法的分类性能。在Pavia University和Indian Pines数据集上进行实验,总体分类精度达到95.60%和94.38%。与其他维数约简算法相比,该算法有效提高了地物分类性能。

基于自适应深度先验的高光谱图像超分辨率

为了解决现有的高光谱超分辨率方法依赖于手工先验和数据驱动先验会导致参数选择困难或可解释性差的问题,采用一种基于自适应深度先验正则的高光谱图像超分辨率方法,进行了理论分析和实验验证。首先设计基于卷积神经网络的多阶段特征提取网络,提取退化图像的空间和光谱信息;其次将提取到的空-谱先验输入基于transformer模型的特征融合模块;然后自适应交互空域和谱域的互补信息,以捕获图像的全局先验特征;最后在退化模型中插入深度先验正则项,将超分辨率问题表述为一个优化问题,其解可以通过交替方向乘子法获得并降低求解复杂度。结果表明,所提出算法在信噪比均为35 dB时,重建信噪比分别达到了34.16 dB和29.35 dB,比次优算法高出2.78 dB和2.17 dB,重建的高分辨率高光谱图像与其固有结构具有较高的一致性。该研究为综合利用手工先验和数据驱动先验增强高光谱图像空间分辨率提供了参考。

基于双路径编码的遥感建筑物图像分割方法

高分辨率遥感图像建筑物分割是遥感影像研究的热点之一,而高分辨率遥感图像中建筑物尺度多样容易导致错分割、漏分割和边界模糊。针对上述问题,基于U-Net网络结构提出了一种双路径编码的遥感建筑物图像分割网络(DCU-Net)。DCU-Net在U-Net上加入一条并行编码路径,形成双路径编码结构。在编码阶段设计了密集残差编码模块(DRCM)和多尺度空洞卷积编码模块(MDCCM)以增强多尺度特征提取。在网络中加入双路融合注意力模块(DFAM),增强网络对特征的表达能力。为验证网络有效性,在WHU与Massachusetts数据集上进行实验,召回率、F1分数和交并比指标在WHU上达到91.26%、92.33%和86.15%,在Massachusetts Buildings上达到81.64%、84.33%和82.72%。结果表明,DCU-Net对于不同尺度的建筑物提取有较高的提取精度。

基于Gabor滤波器的事件流特征增强及事件相机对象识别

基于Gabor滤波器的事件驱动卷积是仿生分层脉冲神经网络中常用的事件相机对象特征提取方法。为提高该类网络事件相机对象特征提取能力,提出基于Gabor滤波器的事件流特征增强算法,并应用于奖励调节STDP规则的脉冲神经网络事件相机对象识别系统。算法首先将事件流按时间窗口划分为事件流片段,然后提取各时间窗口内的事件流片段特征,同时增强事件数量较多的时间窗口内特征。并基于奖励调节STDP规则帮助网络学习诊断性特征。采用增强算法的网络在MNIST-DVS数据集上的分类精度优于未采用增强算法的网络,并且对于较短的事件流输入也有很好的分类能力。该事件流特征增强算法能够提高基于Gabor滤波器的事件驱动卷积对事件相机对象的特征提取能力。