两阶段特征金字塔的遥感图像变化检测

遥感图像变化检测是遥感领域的重要研究方向。针对多尺度编码特征语义差异性和空间信息差异性引入伪变化干扰的问题,本文提出了一种两阶段特征金字塔的变化检测网络TS-FPCDN(Two Stage-Feature Pyramid based Change Detection Network),通过两阶段解码器增强变化特征描述,抑制伪变化信息干扰。首先,采用孪生编码网络对双时相遥感影像进行编码特征提取,并生成多尺度初始差异特征。由于初始差异特征中存在大量噪声和伪变化信息,通过第一阶段特征金字塔结构和双注意力引导的多尺度差异特征融合机制,进行多尺度差异特征语义信息和空间信息的交互,缓解多尺度特征语义的差异性和空间信息的差异性,初步去除伪变化信息干扰,生成多尺度初始变化特征。然后,为进一步提高变化特征描述和去除伪变化,设计了第二阶段特征金字塔,对多尺度变化特征逐层重优化,并进行变化预测。最后,在两个变化检测数据集LEVIR-CD和WHU-CD上开展了一系列实验,实验结果证明了本文提出方法的有效性。

基于特征图金字塔的冠脉造影图像血管分割方法

针对冠脉造影图像照明不均、血管结构与背景区域对比度低、冠脉血管拓扑结构复杂等分割难点,建立了一个冠脉造影血管分割标注数据集,并在此基础上提出了一种基于特征图金字塔的冠脉造影图像血管分割模型。本文模型以U-Net网络为基础进行改进和优化,首先,将U-Net编码部分的第一个卷积层修改为一个7×7的卷积层,并提高每一层的感受野,在编解码层中引入修改后的ConvNeXt block,使得网络提取更深层次特征的能力有所提升;其次,设计分组注意力机制模块GA,并将其引入到U-Net跨连接处,对编码部分提取的特征进行增强,弥补编解码器间存在的语义差距;最后,在U-Net解码器处设计了一个特征图金字塔级联模块PFC,融合各尺度的特征图,并在PFC中每一层中加入SE注意力机制模块,用于筛选特征图中的有效信息,网络损失函数为PFC模块各层输出的加权,以监督网络各层的特征提取。本文模型在测试集上的测试结果如下:Dice系数为0.8843,Jaccard系数为0.7926。实验结果表明,相比其他常用方法,本文模型在冠脉血管分割上具有较强的鲁棒性,在低对比度下能够有效抑制噪声,对冠脉血管具有更好的分割效果。

基于双向特征金字塔的密集视频描述生成方法

针对当前方法普遍存在较为严重的细节结构信息丢失与事件间重叠的问题,提出一种基于双向特征金字塔的密集视频描述生成方法(dense video captioning with bilateral feature pyramid net,BFPVC)。BFPVC通过带有自底向上、自顶向下、横向链接3条分支的双向特征金字塔强化视频多尺度特征图,兼顾对时序信息、空间信息、语义信息的特征表示,解码器从强化后的视频特征中捕获更加全面的事件候选集,从而为对应的视频事件生成更加丰富、详尽的文本描述。在ActivityNet Captions数据集和YouCook2数据集上的实验结果表明,BFPVC与同类模型相比生成的文本描述更详细、丰富,验证了双向特征金字塔在密集视频描述领域的有效性。

融合注意力与特征金字塔的小尺度目标检测算法

针对Faster R-CNN算法对于小尺寸目标以及遮挡或截断物体检测能力不足的问题,提出一种融合CBAM注意力机制和特征金字塔结构的改进Faster R-CNN算法。为重点聚焦特征图像局部高效信息,在特征提取网络中融入CBAM机制,减少无效目标的干扰,提升面对遮挡或截断物体的检测能力。引入特征金字塔网络结构,联结高层与底层特征数据,获得高分辨率、强语义数据,从而增强小目标物体的检测效果。为缓解梯度消失现象以及减少超参数规模,使用表达能力较强的倒残差VS-ResNet网络替换VGG16网络,VS-ResNet网络在原有ResNet 50基础上修改了部分层次结构,加入辅助分类器,设计倒残差和组卷积方式,使激活函数信息在高维环境中完整保留,提高检测准确率。采用重置候选框分值计算方法弥补非极大值抑制算法误消除重叠检测框的缺陷。实验结果表明,相比VGG16,VS-ResNet在CIFAR-10数据集上的正确率提高2.97个百分点,该算法在Pascal VOC 2012数据集上的目标检测mAP值为76.2%,比原始Faster R-CNN算法的mAP值提高了13.9个百分点。

基于双重时空特征金字塔的人体行为识别

针对目前人体动作存在着行为识别准确率低的问题,提出一种基于双重时空特征金字塔网络结构的人体行为识别方法—DSTFP。该方法使用SlowFast网络作为骨干网络提取不同尺度的特征,并将多个尺度的特征输入双重时空特征金字塔进行处理以增加网络对多个尺度的敏感度。第一重为语义增强金字塔(SEEP),自顶向下融合多个尺度的特征,在不同尺度的特征中传递高层语义信息;第二重为空间增强金字塔(SPEP),采用自底向上的融合方式,在不同尺度的特征中传递空间定位信息。在公共数据集AVA上的实验结果表明:该方法能获得24.97 mAP,相较于原网络提升了0.77 mAP,并有效地提升了人体行为识别的准确度,相比于同类算法更符合实际应用需求。

用于小麦多生长阶段倒伏边界精准检测的分层交互特征金字塔网络

[目的/意义]传统的小麦倒伏检测方法需要人工进行田间观测和记录,这种方法存在主观、效率低、劳动强度大等问题,难以满足大规模的小麦倒伏检测的需求。基于深度学习的小麦倒伏检测技术虽已在一定程度上得到应用,但普遍局限于对小麦单一发育阶段的倒伏识别,而倒伏可能发生在小麦生长的各个时期,不同时期倒伏特征变化复杂,这给模型特征捕捉能力带来考验。本研究旨在探索一种基于深度学习技术的多生育期小麦倒伏区域检测方法。[方法]用无人机采集小麦灌浆期、早熟期、晚熟期这三个关键生长阶段的RGB图像,通过数据增强等技术构建出多生育期小麦倒伏数据集。提出一种小麦倒伏提取模型Lodging2Former,该模型在Mask2Former的基础上加以改进,引入分层交互式特征金字塔网络(Hierarchical Interactive Feature Pyramid Network,HI-FPN),用于提高模型在复杂田间背景干扰下对于多个生长阶段小麦倒伏特征的捕捉能力。[结果和讨论]所提出的Lodg⁃ing2Former模型相较于现存的多种主流算法,如Mask R-CNN(Mask Region-Based Convolutional Neural Network)、SOLOv2(Segmenting Objects by Locations,Version 2)以及Mask2Former,在平均精度均值(mean Average Precision,mAP)上展现出显著优势。在阈值分别为0.5、0.75以及0.5~0.95的条件下,模型的mAP值分别达到了79.5%、40.2%和43.4%,相比Mask2Former模型,mAP性能提升了1.3%~4.3%。[结论]提出的HI-FPN网络可以有效利用图像中的上下文语义和细节信息,通过提取丰富的多尺度特征,增强了模型对小麦在不同生长阶段倒伏区域的检测能力,证实了HI-FPN在多生育期小麦倒伏检测中的应用潜力和价值。

用于胸片分类的自校正特征融合金字塔网络

胸部疾病的病灶区域面积差异较大,易受健康部位的影响,难以定位,并且用于诊断疾病的X射线胸片样本数据分布不平衡,导致胸部疾病分类网络的分类准确度较低.针对胸部疾病分类任务中仍然存在的问题和挑战,本文提出了一种自校正特征融合金字塔网络.该网络使用自校正卷积增强疾病部位在特征图上以及通道之间的位置联系,在不引入额外参数量的条件下增大了卷积的感受野,避免无病区域的信息干扰;然后通过特征融合金字塔网络整合多尺度图像特征信息,在获取高分辨率特征图的同时,能够准确地定位病变区域,可以更好地识别不同尺度疾病的特征,在多标签分类任务上具有独特的优势;同时引入频率通道注意力机制强化网络对疾病特征的提取能力,在上采样和特征融合变换之前,减少全局平均池化过程中造成的特征丢失;最后提出一种轮次焦点损失函数区分不同种类胸部疾病的训练程度,根据分类难易程度区分样本,并在不同的训练轮次调整权重,以解决胸部疾病样本分布不平衡问题.在ChestX-ray14数据集上的平均AUC值可达0.853,在CheXpert数据集上的平均AUC值可达0.903,超过了近年来较为先进的网络模型.实验结果表明,该网络与传统的胸部疾病分类网络相比能有效地提高胸部疾病的分类精度,并且具有较强的泛化能力.

基于特征金字塔网络的余弦四元组哈希图像检索方法

为提高哈希图像检索的准确性,设计并提出一种基于特征金字塔网络的余弦四元组哈希图像检索方法,增强生成哈希编码的区分性。提出一种基于特征金字塔网络的特征提取器,提取到包含多层视觉信息和语义信息的图像特征描述符。设计基于余弦度量的四元组排序损失,使哈希码能够保持相似近邻关系;引入分类损失和二进制约束损失,使离散编码包含更多语义信息。实验结果表明,所提模型具有更好的检索性能。

基于改进特征金字塔的目标检测方法

为了缓解多尺度目标特征信息不足的问题,受BiFPN(Bi-directional Feature Pyramid Network)网络的启发,在网络模型的Neck部分提出了一种反转N型特征金字塔结构即IN-FPN(Invert N-Feature Pyramid Network),对网络的多尺度特征融合结构加以优化,其带有侧向连接的层次结构,将特征经过2次自上而下和1次自下而上的双向融合,使得物体的浅层和深层特征充分融合,相互促进.同时,考虑不同尺度特征融合时的贡献不同,给每一个尺度添加可自适应学习权重ωi.此外,为了解决网络退化问题,进一步提升网络性能,参考残差网络结构,增加了含有Block模块的路径.实验结果表明,所提方法在COCO 2017数据集和VisDrone 2019数据集上其平均精度(AP)值分别达到了53.02%和25.21%,比基准模型均有所提升,验证了该方法的有效性.

基于鸟瞰视图的递归特征金字塔语义分割方法

针对现有自动驾驶场景的鸟瞰视图(BEV)语义分割方法的特征提取效果差、视角转换方法老旧以及交通环境语义分割效果不佳的问题,提出一种基于鸟瞰视图的递归金字塔的语义分割方法,简称为IRFPN。传统金字塔特征提取网络包含自底向上、自顶向下以及横向链接三部分,特征提取效果有待提高。鸟瞰视角转换方面只使用传统的逆透视变换处理车载相机拍摄的图片,不能对相关语义进行很好的保留。为改善上述不足,将递归特征金字塔结构和极射线映射相结合。实验结果表明,IRFPN在nuScenes数据集中常见类别语义分割精度提升了0.4%,对驾驶区域的预测精度提升了2.1%,相比传统的金字塔特征提取网络效果好,对各常见交通环境语义特征有更好的保留,对复杂的交通环境具有较好的鲁棒性。

基于金字塔池化特征融合方式的图像分割算法研究

图像语义分割是计算机视觉领域的一个重要研究分支,目前提出的语义分割算法在提取图像细节特征和全局特征方面表现优异,然而,如何将这些特征进行高效融合,是目前语义分割任务的问题之一。因此,本文设计了一种基于金字塔池化的特征融合算法。通过多个尺度的池化操作来处理特征,实现高效的特征融合。本算法在Cityscapes和Camvid数据集上进行消融实验和可视化实验,实验结果表明,加入了本算法模块后的语义分割模型在各项评估指标上均有明显提升,同时在预测图像上也呈现出本算法对于分割效果的实际作用,充分展示了其有效性。

基于全局渲染的特征金字塔网络目标检测算法

为了提高目标检测的准确率,同时优化计算资源的使用,提出了一种名为全局渲染特征的金字塔网络目标检测算法(GRFPN)。在GRFPN中,结合了传统卷积方法和Transformer注意力机制的优势,引入了基于等距离分组的自注意力机制和全局特征渲染模块。GRFPN能够在全局和局部信息之间进行有效交互,同时保持计算效率。在COCO2017数据集上的实验结果显示:与特征金字塔网络(FPN)相比,GRFPN实现了1.4AP的提升;和Feature Pyramid Transformer(FPT)相比,GRFPN只使用了62%运算量和80.79%的参数量就达到99.7%的效果。

基于U-Net和特征金字塔网络的秸秆覆盖率计算方法

针对田间秸秆覆盖分散、秸秆形态多样,细碎秸秆识别困难,传统图像识别方法易受光照、阴影等因素干扰等问题,本文以黑龙江省齐齐哈尔市龙江县为研究地点,构建田间秸秆图像数据集;对图像进行裁剪、标注后,构建了以U-Net为基础网络的秸秆检测模型。将编码阶段的网络结构换成ResNet34的前4层作为特征提取器,增加模型的复杂度,增强秸秆特征的提取;为增强秸秆边缘识别,在最高语义信息层对深层特征图使用多分支非对称空洞卷积块(Multibranch asymmetric dilated convolutional block, MADC Block)提取多尺度的图像特征;为增加细碎秸秆的检测能力,在跳跃连接阶段使用密集特征图金字塔网络(Dense feature pyramid networks, DFPN)进行低层特征图和高层特征图的信息融合,利用特征图对应秸秆图像中感受野的不同,解决秸秆形态多样的问题;为避免秸秆特征图在上采样时的无效计算,解码阶段使用快速上卷积块(Fast up-convolution block, FUC Block)进行上采样,避免秸秆特征图在上采样时的无效计算。试验表明,本文算法在车载相机采集到的秸秆图像数据集上平均交并比为84.78%,相比U-Net提高2.59个百分点,该网络对于640像素×480像素的图像平均处理时间低于3 ms,符合作业检测时的时间复杂度要求,算法在一定程度上改善了阴影区域秸秆的识别问题,提高了细碎秸秆的识别能力。

融合密集特征金字塔的改进R^(2)CNN海洋涡旋自动检测

海洋涡旋演变过程认识的不足是制约当前物理海洋研究水平的关键因素,海洋涡旋自动检测是掌握其产生、发展、变异过程机理及其与多尺度海洋过程相互作用的基础。然而,由于海洋涡旋尺度多样性、形状不规则、分布密集的特点,现有水平检测方法导致检测区域存在显著的冗余、重叠与嵌套。为解决上述问题,提出多尺度旋转密集特征金字塔网络。具体地,通过密集连接(dense feature pyramid network,DFPN)改进特征金字塔网络实现多尺度高层语义特征提取与融合,增强特征传播与特征重用;此外,针对海洋涡旋密集分布的特点,改进旋转区域卷积神经网络(rotational region convolutional neural network,R^(2)CNN),提出多尺度RoI Align机制,实现特征的语义保持和空间信息的完整性,提升模型检测性能。最后,采用海平面异常值数据构建海洋涡旋数据集,并预处理成VOC格式进行训练,调整相应参数得到检测模型。实验结果表明,提出的检测模型最优检测精度可达96.4%,并对太平洋、大西洋海域的海洋涡旋进行自动检测,验证了模型具有较好的泛化能力。

基于单级特征金字塔的图像旋转目标检测

遥感图像的目标检测任务是遥感应用领域的一个研究热点,一直受到广泛的关注。随着遥感图像分辨率的提高,遥感图像中目标的多方向性、目标大纵横比等特点更加明显,这对于已有的方法是一个挑战。针对以上问题,提出了基于单级特征金字塔的图像旋转目标检测模型。设计了单级特征金字塔结构,并结合膨胀卷积组获得目标的多尺度特征;使用分类方法处理旋转框的角度信息,结合DETR的集合预测思想,构造新的边界框回归损失,实现无锚框旋转目标检测;为了减少模型计算量并加快收敛速度,在解码器的交叉注意力上加入权重约束,将全局注意力计算限制在局部范围内。在DOTA数据集上的实验证明,该方法在提升模型检测性能的同时,有效地解决了DETR模型收敛速度慢的问题。

融合多维特征的街景图像语义分割方法

为进一步提升深度学习语义分割方法在复杂街景图像上的分割精度,本文基于PointRend网络提出了一种融合多维特征(Multi-Dimensional Features,MDF)的街景图像语义分割网络(MDFNet)。首先,通过构建目标区域增强模块优化特征提取子网络,在深度网络的每个卷积块自适应地细化中间特征图,从而强化对复杂街景图像多维特征信息的精细提取;接着,在特征融合时引入特征金字塔网格,使用不同的卷积核处理不同尺度的街景图像,从而更加全面地获取复杂街景图像各类目标的不同分辨率特征;最后,使用双解码头对图像细节进行更细致的恢复,得到逐像素分类的结果。实验结果表明,本文网络与DeepLabV3、SegFormer等其他优秀分割网络相比,在Cityscapes复杂街景数据集上分割精度更高,平均交并比达到了80.11%,相比于其他网络提升了3.51%以上,对复杂街景图像的理解力更强。

FPN算法在视觉感知机器人抓取控制的应用研究

针对视觉感知机器人对物体抓取的准确性控制,在抓取姿势估计基础上使用密集连接的特征金字塔网络(FPN)作为特征提取器,将语义更强的高级特征图与分辨率更高的低级特征图融合,将机器人物体抓取过程分为两个阶段,第一个阶段生成待抓取区域,第二阶段对抓取区域进行细化以预测抓取姿势。模型在Cornell抓取数据集和Jacquard数据集上训练,验证了所提算法在抓取姿势估计的有效性。设计了两种不同真实场景的物体抓取控制实验,结果表明所提模型能有效提高机器人抓取各种不同尺寸物体的能力。

基于YOLOv5s和超声图像的儿童肠套叠特征检测模型

为帮助医生快速寻找到儿童腹部超声中肠套叠的病变特征并实现肠套叠超声诊后数据的快速质检,文章将目标检测算法应用于儿童腹部超声图像检测肠套叠“同心圆”征.首先探索了基于YOLOv5s的儿童肠套叠检测模型,发现该模型检测肠套叠“同心圆”征的精确度、召回率、F 1分数、mAP@0.5、FPS以及参数量等方面均优于Faster RCNN.进一步,为解决肉眼难以观察的“同心圆”征的检测问题,使用双向特征金字塔网络,并将注意力机制加入YOLOv5s网络,形成基于YOLOv5s_BiFPN_SE框架的儿童肠套叠“同心圆”征检测模型.该模型检测的精确率、召回率、F 1分数、mAP@0.5分别达到了91.33%、90.73%、91.03%、88.77%,性能更优于YOLOv5s.

基于金字塔注意力机制的遥感图像超分辨率网络

针对超分辨率算法重建的遥感图像细节等信息丢失的问题,为保证遥感重建图像包含较多的纹理、高频信息,在生成对抗网络基础上提出一种基于金字塔注意力机制的遥感图像超分辨率网络。设计了一种全新的金字塔双重注意力模块,包括通道注意力网络和空间注意力网络。通道注意力网络中采用金字塔池化取代平均池化和最大池化,该结构设计从全局和局部信息角度出发增强特征表述能力;空间注意力网络则采用大尺度卷积,以加强局部信息的提取程度,可有效提取纹理、高频等信息。设计密集多尺度特征模块,利用非对称卷积提取不同尺度的特征信息,通过密集连接融合多层级尺度特征以加强纹理、高频等信息的提取精度。在公开的NWPU-RESISC45数据集上进行实验验证,实验结果分析表明,该算法在主观视觉效果和客观评价指标上均优于对比方法,重建性能相对较好。

金字塔渐进融合低照度图像增强网络

针对现有低照度图像增强网络对不同尺度特征信息存在感知与表达能力不足的问题,提出金字塔渐进融合低照度图像增强网络模型。网络对图像进行多次下采样操作以组成特征金字塔,通过在特征金字塔的三个不同分支上加入跳跃连接,将不同尺度的特征图进行相互融合。通过精细恢复模块进一步提取精炼信息,将特征图恢复到正常的光照图像。结果表明,该网络模型不但能有效地提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,同时能够有效地抑制图像中的暗部噪声,使增强后的图像整体画面真实自然。