两阶段特征金字塔的遥感图像变化检测

遥感图像变化检测是遥感领域的重要研究方向。针对多尺度编码特征语义差异性和空间信息差异性引入伪变化干扰的问题,本文提出了一种两阶段特征金字塔的变化检测网络TS-FPCDN(Two Stage-Feature Pyramid based Change Detection Network),通过两阶段解码器增强变化特征描述,抑制伪变化信息干扰。首先,采用孪生编码网络对双时相遥感影像进行编码特征提取,并生成多尺度初始差异特征。由于初始差异特征中存在大量噪声和伪变化信息,通过第一阶段特征金字塔结构和双注意力引导的多尺度差异特征融合机制,进行多尺度差异特征语义信息和空间信息的交互,缓解多尺度特征语义的差异性和空间信息的差异性,初步去除伪变化信息干扰,生成多尺度初始变化特征。然后,为进一步提高变化特征描述和去除伪变化,设计了第二阶段特征金字塔,对多尺度变化特征逐层重优化,并进行变化预测。最后,在两个变化检测数据集LEVIR-CD和WHU-CD上开展了一系列实验,实验结果证明了本文提出方法的有效性。

改进特征金字塔网络的小目标检测

由于小目标可视化特征少、难以定位,故许多小目标检测方法基于特征金字塔网络(FPN)进行多尺度融合丰富各特征层的信息。然而,FPN只关注特征局部相关性并且使用逐元素相加操作融合不同的特征层忽略了不同特征层感受野的不同。因此,提出增强上下文特征金字塔网络(ECFPN),设计了上下文信息增强(CIE)模块增强上下文信息,注意力引导特征融合(AGFF)模块融合高层特征图和低层特征图。实验结果表明,ECFPN在VOC2012数据集上的AP 0.5、AP S分别达到75.05%和19.48%,在NWPU VHR-10数据集上的AP 0.5、AP S分别达到93.48%和45%,具有良好的小目标检测性能。

基于Transformer特征金字塔的空中加油锥套实时检测

空中加油锥套的实时检测是实现自主空中加油的重要前提。针对现有目标检测算法在空中加油锥套检测中易受环境干扰导致精度不足的问题,提出了基于Transformer特征金字塔的空中加油锥套实时检测算法。首先,提出一种新的基于池化注意力的Transformer特征金字塔结构TPN对主干特征进行融合,实现更加高效的特征图增强;其次,使用线性注意力进一步降低TPN中注意力机制复杂性,提出轻量化检测模型DNet-LinTPN,减小其80%的内存占用。在自制的空中加油锥套数据集上的实验结果表明,基于TPN的模型在同等条件下精度、速度与模型大小均优于YOLOv7;轻量化检测模型DNet-LinTPN精度达到93.8%较YOLOv7-tiny提升9.4个百分点,参数量减少67.2%,运算量减少45.2%,鲁棒性明显提升。

基于特征图金字塔的冠脉造影图像血管分割方法

针对冠脉造影图像照明不均、血管结构与背景区域对比度低、冠脉血管拓扑结构复杂等分割难点,建立了一个冠脉造影血管分割标注数据集,并在此基础上提出了一种基于特征图金字塔的冠脉造影图像血管分割模型。本文模型以U-Net网络为基础进行改进和优化,首先,将U-Net编码部分的第一个卷积层修改为一个7×7的卷积层,并提高每一层的感受野,在编解码层中引入修改后的ConvNeXt block,使得网络提取更深层次特征的能力有所提升;其次,设计分组注意力机制模块GA,并将其引入到U-Net跨连接处,对编码部分提取的特征进行增强,弥补编解码器间存在的语义差距;最后,在U-Net解码器处设计了一个特征图金字塔级联模块PFC,融合各尺度的特征图,并在PFC中每一层中加入SE注意力机制模块,用于筛选特征图中的有效信息,网络损失函数为PFC模块各层输出的加权,以监督网络各层的特征提取。本文模型在测试集上的测试结果如下:Dice系数为0.8843,Jaccard系数为0.7926。实验结果表明,相比其他常用方法,本文模型在冠脉血管分割上具有较强的鲁棒性,在低对比度下能够有效抑制噪声,对冠脉血管具有更好的分割效果。

融合注意力与特征金字塔的小尺度目标检测算法

针对Faster R-CNN算法对于小尺寸目标以及遮挡或截断物体检测能力不足的问题,提出一种融合CBAM注意力机制和特征金字塔结构的改进Faster R-CNN算法。为重点聚焦特征图像局部高效信息,在特征提取网络中融入CBAM机制,减少无效目标的干扰,提升面对遮挡或截断物体的检测能力。引入特征金字塔网络结构,联结高层与底层特征数据,获得高分辨率、强语义数据,从而增强小目标物体的检测效果。为缓解梯度消失现象以及减少超参数规模,使用表达能力较强的倒残差VS-ResNet网络替换VGG16网络,VS-ResNet网络在原有ResNet 50基础上修改了部分层次结构,加入辅助分类器,设计倒残差和组卷积方式,使激活函数信息在高维环境中完整保留,提高检测准确率。采用重置候选框分值计算方法弥补非极大值抑制算法误消除重叠检测框的缺陷。实验结果表明,相比VGG16,VS-ResNet在CIFAR-10数据集上的正确率提高2.97个百分点,该算法在Pascal VOC 2012数据集上的目标检测mAP值为76.2%,比原始Faster R-CNN算法的mAP值提高了13.9个百分点。

用于小麦多生长阶段倒伏边界精准检测的分层交互特征金字塔网络

[目的/意义]传统的小麦倒伏检测方法需要人工进行田间观测和记录,这种方法存在主观、效率低、劳动强度大等问题,难以满足大规模的小麦倒伏检测的需求。基于深度学习的小麦倒伏检测技术虽已在一定程度上得到应用,但普遍局限于对小麦单一发育阶段的倒伏识别,而倒伏可能发生在小麦生长的各个时期,不同时期倒伏特征变化复杂,这给模型特征捕捉能力带来考验。本研究旨在探索一种基于深度学习技术的多生育期小麦倒伏区域检测方法。[方法]用无人机采集小麦灌浆期、早熟期、晚熟期这三个关键生长阶段的RGB图像,通过数据增强等技术构建出多生育期小麦倒伏数据集。提出一种小麦倒伏提取模型Lodging2Former,该模型在Mask2Former的基础上加以改进,引入分层交互式特征金字塔网络(Hierarchical Interactive Feature Pyramid Network,HI-FPN),用于提高模型在复杂田间背景干扰下对于多个生长阶段小麦倒伏特征的捕捉能力。[结果和讨论]所提出的Lodg⁃ing2Former模型相较于现存的多种主流算法,如Mask R-CNN(Mask Region-Based Convolutional Neural Network)、SOLOv2(Segmenting Objects by Locations,Version 2)以及Mask2Former,在平均精度均值(mean Average Precision,mAP)上展现出显著优势。在阈值分别为0.5、0.75以及0.5~0.95的条件下,模型的mAP值分别达到了79.5%、40.2%和43.4%,相比Mask2Former模型,mAP性能提升了1.3%~4.3%。[结论]提出的HI-FPN网络可以有效利用图像中的上下文语义和细节信息,通过提取丰富的多尺度特征,增强了模型对小麦在不同生长阶段倒伏区域的检测能力,证实了HI-FPN在多生育期小麦倒伏检测中的应用潜力和价值。

结合渐进式特征金字塔和极化自注意力机制的海雾图像检测

通过对基准模型SegFormer进行两方面的改进优化,开展面向海雾图像检测方法的研究。一方面,引入渐进式特征金字塔融合模块(AFPN),有效融合海雾图像的局部和全局特征,提升模型对不同大小的海雾目标的检测能力。另一方面,引入极化自注意力机制(PSA),有效聚焦图像的细粒度空间信息,捕获海雾的边缘特征,提升模型在云雾混合区域的海雾检测能力。在真实的海雾图像数据集上进行消融实验和对比实验,所提出的模型(简称为AFPSSegFormer),与基准模型相比,mIoU、Precision和m PA指标分别提升了2.38%、2.78%与0.31%,验证了所提出模型在海雾检测方面的有效性。

基于特征金字塔网络与树莓派的护理床智能控制方法研究

为解决传统护理床中存在的效率低、操作复杂等问题,研究通过特征金字塔进行手势检测,并引入通道注意力与Transformer注意力对特征金字塔进行优化,并在树莓派的基础上设计了一个护理床控制系统,然后将优化后的特征金字塔应用于其中,从而设计出一种结合特征金字塔网络与树莓派的护理床智能控制系统;结果显示,改进模型在COCO数据集上的准确率可达95%;在角度测试误差中,改进模型的最小误差率为1.17%,证明了其精度较高;在识别率与平均测试时间中,改进模型的识别率在不同指令中的最高可达98.7%,平均测试时间为0.18 s,证明了其有效性,并进一步证明了其准确性;基于该控制方法的智能护理床能够有效提高老年人的护理质量和舒适度,为智能护理床的进一步发展提供了新的方向。

基于双向特征金字塔的密集视频描述生成方法

针对当前方法普遍存在较为严重的细节结构信息丢失与事件间重叠的问题,提出一种基于双向特征金字塔的密集视频描述生成方法(dense video captioning with bilateral feature pyramid net,BFPVC)。BFPVC通过带有自底向上、自顶向下、横向链接3条分支的双向特征金字塔强化视频多尺度特征图,兼顾对时序信息、空间信息、语义信息的特征表示,解码器从强化后的视频特征中捕获更加全面的事件候选集,从而为对应的视频事件生成更加丰富、详尽的文本描述。在ActivityNet Captions数据集和YouCook2数据集上的实验结果表明,BFPVC与同类模型相比生成的文本描述更详细、丰富,验证了双向特征金字塔在密集视频描述领域的有效性。

基于全局上下文注意力特征融合金字塔网络的遥感目标检测

遥感目标检测往往具有图像尺度变化大、目标微小、密集排列和宽高比过大的特性,给高精度定向目标检测造成困难.本文提出了一种全局上下文注意力特征融合金字塔网络.首先,本文设计了一种三重注意力特征融合模块,它能够更好地融合语义和尺度不一致的特征.然后引入层内调节方法改进并提出了一个全局上下文信息增强网络,对含有高级语义信息的深层特征的进行细化,提升表征能力.在此基础上,以全局集中调节的思想设计了全局上下文注意力特征融合金字塔网络,利用注意力调制特征自上而下地调节浅层多尺度特征.在几个公开数据集中进行了广泛实验,实验结果的高精度评价指标均优于目前先进的模型.

双路径特征金字塔网络遥感图像建筑物提取方法

虽然近年来卷积神经网络在遥感图像建筑物提取研究中取得了极大的成功,但其仍然面临着多尺度目标识别、分割目标边界模糊和提升类不平衡目标识别精度等问题。为解决以上问题,提出了一种双路径特征金字塔编解码结构,用于遥感图像建筑物提取。以高分辨率网络为编码器、带注意力机制的特征金字塔为解码器,提高相同目标不同尺度识别能力;通过在编码器加入边界网络增强其对目标边界特征学习,从而提高目标边界识别精度;采用交叉熵损失函数与Dice损失函数加权方式来增强不平衡目标提取精度。最后在WHU航空图像和WHU卫星图像Ⅱ上验证提出方法的有效性,交并比分别达到了90.0%和71.1%。

基于特征金字塔的协作式变化检测网络

基于深度学习的变化检测方法在高分辨率遥感图像的应用越来越多。然而,在处理大尺寸遥感图像上,为适应GPU(图形处理器)内存限制而采用的降采样和裁剪策略,往往会导致语义信息不完整和图像细节丢失。本文提出了一种基于特征金字塔的协作式监督网络,使网络能够从裁剪和降采样的图像块中学习局部和整体特征。此外,还引入了一种特征共享机制来融合整体特征和局部特征。在LEVIR-CD(遥感变化检测数据集)和S2Looking(建筑物变化检测数据集)上对该网络进行了评估,并将其与一些代表性的变化检测网络进行了比较。对比实验表明:所提出的网络在多尺度变化检测方面表现更好,在LEVIR-CD数据集上精确率提高了2.69%,在S2Looking数据集上精确率和召回率分别提高了6.83%、2.68%。

基于双重时空特征金字塔的人体行为识别

针对目前人体动作存在着行为识别准确率低的问题,提出一种基于双重时空特征金字塔网络结构的人体行为识别方法—DSTFP。该方法使用SlowFast网络作为骨干网络提取不同尺度的特征,并将多个尺度的特征输入双重时空特征金字塔进行处理以增加网络对多个尺度的敏感度。第一重为语义增强金字塔(SEEP),自顶向下融合多个尺度的特征,在不同尺度的特征中传递高层语义信息;第二重为空间增强金字塔(SPEP),采用自底向上的融合方式,在不同尺度的特征中传递空间定位信息。在公共数据集AVA上的实验结果表明:该方法能获得24.97 mAP,相较于原网络提升了0.77 mAP,并有效地提升了人体行为识别的准确度,相比于同类算法更符合实际应用需求。

用于胸片分类的自校正特征融合金字塔网络

胸部疾病的病灶区域面积差异较大,易受健康部位的影响,难以定位,并且用于诊断疾病的X射线胸片样本数据分布不平衡,导致胸部疾病分类网络的分类准确度较低.针对胸部疾病分类任务中仍然存在的问题和挑战,本文提出了一种自校正特征融合金字塔网络.该网络使用自校正卷积增强疾病部位在特征图上以及通道之间的位置联系,在不引入额外参数量的条件下增大了卷积的感受野,避免无病区域的信息干扰;然后通过特征融合金字塔网络整合多尺度图像特征信息,在获取高分辨率特征图的同时,能够准确地定位病变区域,可以更好地识别不同尺度疾病的特征,在多标签分类任务上具有独特的优势;同时引入频率通道注意力机制强化网络对疾病特征的提取能力,在上采样和特征融合变换之前,减少全局平均池化过程中造成的特征丢失;最后提出一种轮次焦点损失函数区分不同种类胸部疾病的训练程度,根据分类难易程度区分样本,并在不同的训练轮次调整权重,以解决胸部疾病样本分布不平衡问题.在ChestX-ray14数据集上的平均AUC值可达0.853,在CheXpert数据集上的平均AUC值可达0.903,超过了近年来较为先进的网络模型.实验结果表明,该网络与传统的胸部疾病分类网络相比能有效地提高胸部疾病的分类精度,并且具有较强的泛化能力.

基于特征金字塔网络的余弦四元组哈希图像检索方法

为提高哈希图像检索的准确性,设计并提出一种基于特征金字塔网络的余弦四元组哈希图像检索方法,增强生成哈希编码的区分性。提出一种基于特征金字塔网络的特征提取器,提取到包含多层视觉信息和语义信息的图像特征描述符。设计基于余弦度量的四元组排序损失,使哈希码能够保持相似近邻关系;引入分类损失和二进制约束损失,使离散编码包含更多语义信息。实验结果表明,所提模型具有更好的检索性能。

基于改进特征金字塔的目标检测方法

为了缓解多尺度目标特征信息不足的问题,受BiFPN(Bi-directional Feature Pyramid Network)网络的启发,在网络模型的Neck部分提出了一种反转N型特征金字塔结构即IN-FPN(Invert N-Feature Pyramid Network),对网络的多尺度特征融合结构加以优化,其带有侧向连接的层次结构,将特征经过2次自上而下和1次自下而上的双向融合,使得物体的浅层和深层特征充分融合,相互促进.同时,考虑不同尺度特征融合时的贡献不同,给每一个尺度添加可自适应学习权重ωi.此外,为了解决网络退化问题,进一步提升网络性能,参考残差网络结构,增加了含有Block模块的路径.实验结果表明,所提方法在COCO 2017数据集和VisDrone 2019数据集上其平均精度(AP)值分别达到了53.02%和25.21%,比基准模型均有所提升,验证了该方法的有效性.

基于鸟瞰视图的递归特征金字塔语义分割方法

针对现有自动驾驶场景的鸟瞰视图(BEV)语义分割方法的特征提取效果差、视角转换方法老旧以及交通环境语义分割效果不佳的问题,提出一种基于鸟瞰视图的递归金字塔的语义分割方法,简称为IRFPN。传统金字塔特征提取网络包含自底向上、自顶向下以及横向链接三部分,特征提取效果有待提高。鸟瞰视角转换方面只使用传统的逆透视变换处理车载相机拍摄的图片,不能对相关语义进行很好的保留。为改善上述不足,将递归特征金字塔结构和极射线映射相结合。实验结果表明,IRFPN在nuScenes数据集中常见类别语义分割精度提升了0.4%,对驾驶区域的预测精度提升了2.1%,相比传统的金字塔特征提取网络效果好,对各常见交通环境语义特征有更好的保留,对复杂的交通环境具有较好的鲁棒性。

基于集中式特征金字塔的交通标志识别

针对目前交通标志识别技术中存在的畸变目标、小目标检测难等问题,提出一种基于集中式特征金字塔的交通标志识别算法。首先,使用集中式特征金字塔改进原始的特征融合网络,用轻量级多层感知机(MLP)来捕获全局远程依赖,通过可学习视觉中心机制(LVC)来捕获输入图像的局部角区域,提高了对畸变目标以及小目标的检测精度;其次,使用递归门控卷积提取浅层特征图的高阶空间交互信息,改善对小目标的检测效果;最后,使用SIoU回归损失函数,引入角度损失,重新定义惩罚指标,减少总损失的自由度,防止预测框在训练时四处游荡,加快收敛速度,使定位更加精确。在TT100K数据集上平均检测精度为93.4%,和传统的YOLOv5n相比精度提升了3.5个百分点,帧处理速度达到94.34fps。

基于金字塔池化特征融合方式的图像分割算法研究

图像语义分割是计算机视觉领域的一个重要研究分支,目前提出的语义分割算法在提取图像细节特征和全局特征方面表现优异,然而,如何将这些特征进行高效融合,是目前语义分割任务的问题之一。因此,本文设计了一种基于金字塔池化的特征融合算法。通过多个尺度的池化操作来处理特征,实现高效的特征融合。本算法在Cityscapes和Camvid数据集上进行消融实验和可视化实验,实验结果表明,加入了本算法模块后的语义分割模型在各项评估指标上均有明显提升,同时在预测图像上也呈现出本算法对于分割效果的实际作用,充分展示了其有效性。

基于全局渲染的特征金字塔网络目标检测算法

为了提高目标检测的准确率,同时优化计算资源的使用,提出了一种名为全局渲染特征的金字塔网络目标检测算法(GRFPN)。在GRFPN中,结合了传统卷积方法和Transformer注意力机制的优势,引入了基于等距离分组的自注意力机制和全局特征渲染模块。GRFPN能够在全局和局部信息之间进行有效交互,同时保持计算效率。在COCO2017数据集上的实验结果显示:与特征金字塔网络(FPN)相比,GRFPN实现了1.4AP的提升;和Feature Pyramid Transformer(FPT)相比,GRFPN只使用了62%运算量和80.79%的参数量就达到99.7%的效果。