Intelligent identification of oceanic eddies in remote sensing data via Dual-Pyramid UNet

海洋涡旋是大洋中重要的组成部分,对海洋能量和物质的输送至关重要.海洋涡旋的检测和表征无论是对于海洋气象学,海洋声学还是海洋生物学等领域都具有重要的研究价值.本文基于UNet架构,并结合金字塔分割注意力(PSA)模块和空洞空间卷积池化金字塔(ASPP)构造了Dual-Pyramid UNet模型,以平面异常和海表面温度数据中进行海洋涡旋的识别.实验在北大西洋和南大西洋两个涡旋活跃区域进行并选用多个评价指标对识别结果进行评价以证明模型的优异性能.

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

基于PCSA-YOLOv7 Former的输电线路连接金具及其锈蚀检测方法

输电线路分布情况复杂且故障难以有效检测,其中连接金具长期暴露于复杂环境下易受到恶劣环境的影响出现锈蚀等故障。针对输电线路连接金具部件具有尺度多样性和存在着锈蚀故障检测精度低的问题,提出了一种基于双重注意力嵌入重构和Swin Transformer的输电线路连接金具组件及其锈蚀故障检测方法:PCSA-YOLOv7 Former。实验结果表明:该方法在构建的TLCF数据集上的综合检测性能领先于12类当前先进的目标检测算法,其中在测试集上的mAP_(0.5)达到94.9%,该方法相比于基线模型YOLOv7,其F1和mAP0.5指标分别提升了2.6个百分点和2.2个百分点,说明该方法能够更全面地理解输电线路连接金具图像中的多尺度语义信息并学习到不易区分的微小细节表征。

健身行为的人体姿态估计及动作识别

人体姿态估计和动作识别在安防、医疗和运动等领域有着重要的应用价值。为了解决不同背景及角度下各类运动动作的人体姿态估计和动作识别问题,本文提出了一种改进的YOLOv7-POSE算法,并自行拍摄制作各种拍摄角度的数据集进行训练。此算法以YOLOv7为基础,对原始网络模型添加了分类的功能,在Backbone主干网络中引入CA卷积注意力机制,提升了网络在对人体骨骼关节点和动作的分类的重要特征的识别能力。用HorNet网络结构代替原模型的CBS卷积核,提高了模型的人体关键点检测精度和动作分类的准确度。将Head层的空间金字塔池化结构替换为空洞空间金字塔池化结构,提升了检测精度并且加快了模型收敛。将目标检测框的回归函数由CIOU替换为EIOU,提高了坐标回归的精度。设计了两组对照实验,实验结果证明,改进后的YOLOv7-POSE在验证集上的mAP为95.7%,相比于原始YOLOv7算法提高了4%,各类运动动作识别准确率显著上升,在实际推理中的关键点错检、漏检等情况明显减少,关键点位置估计误差明显降低。

基于改进DeepLabv3+的遥感影像道路提取算法

道路提取可以帮助人们更好地理解城市环境,是城市交通和城市规划等方面的重要部分,随着深度学习与计算机视觉的发展,利用基于深度学习的语义分割算法从遥感影像中提取道路的技术趋于成熟。针对现有的深度学习道路提取算法存在的提取速度慢和容易受背景环境因素干扰而产生漏分割、不连续等问题,提出了一种基于ECANet注意力机制和级联空洞空间金字塔池化模块的轻量化算法CE-DeepLabv3+。首先,将主干特征提取网络更换为轻量级的MobileNetv2,减少参数量,提高模型的执行速度;其次,通过增加空洞空间金字塔池化模块的卷积层进一步扩大感受野,再级联不同特征层来增强语义信息的复用性,从而加强对细节特征的提取能力;再次,加入ECANet注意力机制,抑制背景环境中的干扰因素,聚焦道路信息;最后,采用改进的损失函数进行训练,消除了道路与背景样本不均衡对模型性能产生的影响。实验结果表明,改进算法的性能优良,与原始DeepLabv3+算法相比,在分割效率、分割精度上有较大的提升。

基于稠密块改进LinkNet的高分遥感图像道路提取

针对LinkNet网络模型在进行道路图像分割任务时,特征信息易丢失以及缺乏对目标特征的关注度问题,提出了一种基于改进LinkNet残差网络的高分遥感图像道路提取方法。将原本LinkNet模型中编码区的残差块(Res Block)替换为稠密块(Dense Block),密集连接的方式减少特征信息在传递过程中的损失,并在每个稠密块之后构建卷积注意力单元来提高模型对目标特征的学习能力,最后用空洞空间金字塔池化模块将编码区与解码区进行连接,扩大感受野的同时还能接受多尺度目标特征信息。实验表明,该方法在DeepGlobe数据集上的准确率、平均交并比和F1-score分为82.16%、83.21%和81.65%,均优于同类网络,通过对提取的路网结果对比,该算法对于树木遮蔽处以及建筑物阴影下的路网提取在完整性和准确性上都具有明显提升。

KU-Net:改进U-Net的高分辨率遥感影像建筑物提取方法

针对遥感影像背景复杂导致的建筑物提取结果存在边界模糊、小目标漏检、地物误检等问题,提出一种基于改进U-Net的建筑物提取网络KU-Net(Keep border U-Net)。该网络在U-Net的基础上加入空洞空间金字塔池化和含注意力机制的横向连接模块,其中,空间空洞金字塔池化能够提升模型的感受野,横向连接模块对不同层级的跳跃连接特征进行融合,缓解特征丢失的情况,从而进一步提高精度。实验结果表明,该方法相比于其他对比方法,提取结果更为清晰准确,对边缘有较好的保持效果,定量结果更优。

基于改进的IIE-SegNet的快速图像语义分割方法

针对IIE-SegNet计算复杂度高、计算量大等问题,本文提出一种基于IIE-SegNet的改进方法。编码结构中引入经ImageNet训练过的VGG16和多尺度空洞卷积空间金字塔池化来获得丰富的编码信息;解码结构中,设计全局加平均模块来解决IIE-SegNet计算量大的问题;研究Focal损失函数来解决正、负采样不平衡的问题。实验结果表明:与IIE-SegNet相比,本方法在PASCAL VOC 2012数据集上的语义分割速度更快,平均每次迭代快0.6 s左右,测试单张图像的时间平均减少了0.94 s;分割精度更高,MIoU提升了2.1%。在扩展的PASCAL VOC 2012(Exp-PASCAL VOC 2012)数据集上的语义分割速度更快,平均每次迭代快0.4 s左右,测试单张图像的时间平均减少了0.92 s;分割精度更高,MPA和MIoU分别提升了2.6%和2.8%,特别是对于小尺度目标分割边界更清晰,性能得到了很大的提升。

结合深度学习的糖尿病视网膜病变血管分割和重建

为了助于早期诊断糖尿病性视网膜病变,提出结合视网膜血管分割与三维重建的方法。三维重建可以避免分割后血管长度、曲度和分支角度等信息误判影响早期诊断。提出IAAnet算法进行视网膜图像分割,将传统Unet网络与Inception V3、ASPP、AttentionGates相结合,较好地减少信息损失并避免过拟合的现象,提高网络对特征的提取能力。运用投影重建法来还原血管三维信息,并支持调节亮度、对比度,使医生更好地观察血管的真实状态。本文算法在准确率、召回率、F1分数、交并比、ROC曲线下面积上的结果分别是97.68%、96.07%、97.26%、92.79%、94.00%,通过与其他网络对比,IAAnet算法具有良好的分割准确性,三维投影重建后能在三维图像上获取更丰富的血管信息为早期诊断提供帮助。

基于改进YOLOv5s的交通标识检测算法

针对交通标识在图像中占比小、检测精度低且周围环境复杂等问题,提出一种基于改进YOLOv5s的算法.首先,在主干网络部分添加注意力机制ECA(Efficient Channel Attention,高效通道注意力),增强网络的特征提取能力,有效解决了周围环境复杂的问题;其次,提出HASPP(Hybrid Atrous Spatial Pyramid Pooling,混合空洞空间金字塔池化),增强了网络结合上下文的能力;最后,修改网络中的Neck结构,使高层特征与底层特征有效融合,同时避免了跨卷积层造成的信息丢失.实验结果表明,改进后的算法在交通标识数据集上取得了94.4%的平均检测精度、74.1%的召回率以及94.0%的精确率,较原始算法分别提升了3.7、2.8、3.4个百分点.

基于轻量级Transformer的隧道裂缝分割

裂缝检测对保证隧道结构安全至关重要,及时发现隧道裂缝缺陷,有利于降低工程维修成本和保障行车安全。然而,传统卷积神经网络在隧道裂缝检测任务中主要侧重提高检测精度和算法复杂度,如何平衡裂缝检测的精度和实时性是当前研究的一个难点。针对这一问题,本文提出一种基于轻量级Transformer的裂缝分割方法 CrackViT。首先,采用卷积神经网络与Transformer混合的MobileViT网络构建裂缝特征提取网络,减少网络模型参数和计算量,并且有效提取裂缝图像全局信息和局部特征信息。然后,提出改进空洞空间金字塔池化解码器实现不同尺度的特征提取和信息融合,实现像素级概率分布。同时,裂缝图像存在细节信息缺失问题,引入高效通道注意力模块,增强对裂缝特征信息的提取能力。此外,针对裂缝与背景类别不平衡问题,设计了在线困难样本挖掘损失函数进行缓解。实验结果表明:在单个3050Ti GPU上,CrackViT算法最终在裂缝数据集上以63 FPS的速度获得了75.62%的IoU,模型参数量仅为2.43 M。CrackViT-L模型精度IoU为76.83%,模型参数量为3.56 M,模型推理速度达到61FPS。算法测试精度优于大多数主流模型,并且需要更少的模型参数。研究结果表明,CrackViT所预测的隧道裂缝分割图像边缘更加清晰和完整,保持推理速度的同时,能够有效检测裂缝,该算法有助于隧道裂缝检测实际应用。

面向嵌入式端的轻量级交通信号灯检测算法

针对现有交通信号灯检测算法计算量和模型大,嵌入式端部署难,且对远距离交通信号灯的检测难度大,漏检率高等问题,设计了一种面向嵌入式端的轻量级交通信号灯检测算法,针对轻量化和实时性要求,采用GhostNet网络Ghost模块和Ghost瓶颈层结构,减少了模型参数量,提升了检测速度;针对特征相似问题,采用加权双向特征金字塔网络结构,使得算法对目标更敏感;使用密集空洞空间金字塔池化,优化全局上下文信息的提取;针对小目标识别问题,通过多尺度检测的改进,增强对小目标的信息提取;通过知识蒸馏,提升模型学习能力,进而提高检测性能。实验结果表明,该检测算法对交通信号灯的识别精度达到了97.0%,召回率达到了99%,较YOLOv5s算法分别提高了2.7和3个百分点,模型大小减小到8.06 MB,是YOLOv5s的58%,识别速率从51帧每秒提升到56帧每秒,通过在嵌入式端的测试,改进后算法对远距离下的交通信号灯能够实时准确地识别。

基于注意力机制的多尺度手部分割方法

针对手部边缘细节信息分割不精确及小面积手部的错检、漏检问题,提出一种基于注意力机制的多尺度手部分割方法。首先,对Transformer模块重新进行设计优化,提出窗口自注意力结构和双分支前馈神经网络(Dual-branch FeedForward Networks,D-FFN)机制,通过窗口自注意力机制整合全局和局部的依赖信息,D-FFN抑制背景信息的干扰;然后,提出一种结合条形池化和级联网络的多尺度特征提取模块增大感受野,提高手部分割模型的准确性和鲁棒性;最后,提出基于Triplet Attention机制的上采样解码器模块,通过调节通道维度与空间维度的注意力权重将目标特征和背景的冗余特征区分开。将所提算法在公开数据集GTEA(Georgia Tech Egocentric Activity)和EYTH(EgoYouTubeHands)上测试,实验结果表明,该算法在两个数据集上的平均交并比(MIoU)值分别达到了95.8%和90.2%,相较于TransUnet算法分别提升了2.5%和2.1%,满足手部图像分割的稳定可靠、精度高、抗干扰能力强等要求。

基于CNN-Transformer结构的遥感影像变化检测

现代高分辨率遥感图像变化检测借助卷积神经网络(Convolutional Neural Network,CNN)取得了显著成果。然而,卷积操作的感受野限制导致在学习全局上下文和远程空间关系方面存在不足。虽然视觉Transformer能有效捕获远程特征的依赖性,但其对影像变化细节的处理不足,导致空间定位能力有限且计算效率低下。为解决上述问题,本文提出了一种基于空间空洞金字塔池化的跨层级联线性融合端到端编解码混合CNN-Transformer的变化检测模型,兼具视觉Transformer和CNN的优势。首先,利用孪生CNN网络提取图像特征,并借助空洞金字塔池化模块对特征进行精细处理,从而更精准地捕获图像的细节特征信息。其次,将提取的特征转化为视觉单词,并通过Transformer编码器进行建模,以获取丰富的上下文信息。这些信息随后被反馈至视觉空间,通过Transformer解码器对原始特征进行强化,提升特征的表达效果。接着,采用跨层级联的方式将CNN提取的特征与Transformer编解码的特征进行融合,利用上采样技术联系不同分辨率的特征图,实现位置信息与语义信息的融合。最后,通过差异增强模块生成包含丰富变化信息的差异特征图。在LEVIR、CDD、DSIFN和WHUCD 4个公开遥感数据集上的广泛实验验证了本文方法的有效性。与其他先进方法相比,本文模型的分类性能更出色,有效改善了变化检测中的欠分割、过分割及边缘粗糙等问题。

改进Unet++的肾脏肿瘤分割方法

针对人工方式分割CT图像肾脏肿瘤区域耗时费力且存在主观因素影响等问题,提出一种基于卷积神经网络的肾脏肿瘤自动分割算法。算法以Unet++分割网络为基础框架,将预训练的ResNet-34网络中四个特征提取模块作为Unet++网络特征编码器,来提取图像特征信息;并将重新设计的空洞空间金字塔池化网络嵌入到Unet++每条解码路径中;不同的解码路径通过特征融合得到肾脏肿瘤分割结果。在KiTS19竞赛提供的数据集上进行验证,实验结果表明,该算法有效提高了CT图像肾脏肿瘤的分割精度。

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

基于深度学习的田间玉米幼苗与杂草语义分割研究

为实现复杂田间背景下玉米幼苗和杂草的准确分割,提出了一种基于改进ResNet的语义分割网络模型.首先,对骨干网络进行调整,在保证感受野不变的情况下降低计算量,提高模型的分割精度;其次,引进空洞空间金字塔池化模块,增强模型对多尺度目标上下文信息和全局上下文信息的获取能力;最后,引入条带池化模块补充和完善上下文信息,增强全局语义信息表达.实验结果表明,该模型在自建数据上获得85.3%的平均交并比.对田间复杂环境下玉米幼苗与杂草具有良好的分割效果和泛化能力,研究结果为智能除草设备提供一定的参考.

基于改进Swin-Unet的遥感图像分割方法

针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题,提出了一种基于改进Swin-Unet的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,用于捕获多尺度特征,增强网络获取不同尺度的能力,充分提取上下文信息;将解码器端的Swin Transformer Block替换为残差Swin Transformer Block,不仅保留了原始信息,又能够缓解模型出现梯度弥散现象;在跳跃连接中引入残差注意力机制,可以让模型更加关注特征图中的重要特征信息,抑制无效信息,从而提高模型分割的准确率。在自建数据集上进行实验,结果表明,改进后的网络平均交并比(mean Intersection over Union,mIoU)达到了80.55%,提高了4.13个百分点,证明改进后的网络可以有效提高遥感图像分割的精度。

改进Mask R-CNN的无人机影像建筑物提取

从无人机影像中自动提取建筑物对城乡规划和管理至关重要,然而,在复杂背景干扰和建筑物外观变化很大的情况下给实例提取带来挑战。因此,提出一种改进的Mask区域卷积神经网络(R-CNN)方法用于无人机影像的建筑物自动实例提取。改进方法以ResNet-101作为特征提取网络,在特征融合网络方面,通过添加自底向上的路径增强整个特征层次的定位能力,同时在特征融合中加入空洞空间金字塔池化模块(ASPP)来提高多尺度能力与改善模型性能。在自制建筑物数据集上的综合实验结果表明,与原始的Mask R-CNN方法相比,改进方法的mAP值提高了2.6%,能够很好地实现无人机影像建筑物实例提取。

基于YOLOv5的小动物目标检测算法研究

针对现有变电站入侵检测算法误报率高、对小目标检测精度低等问题,提出了一种基于改进YOLOv5的变电站入侵小动物目标检测算法。将SENet通道注意力模块和卷积注意力模块(CBAM)中的激活函数改进为HardSwish函数,并在主干网络和颈部网络中分别引入改进后的SENet_H模块和CBAM_H模块;采用空洞空间池化金字塔(ASPP)对空间金字塔池化进行优化,并在检测端增加一个小目标检测层,以提高对小动物的检测精度。此外,还构建了小动物数据集,并采用9-Mosaic数据增强方式,丰富了样本目标。实验结果表明:改进后的小动物目标检测算法相较于原YOLOv5算法精确率提升了11.6%,召回率提升了10.2%,平均精度均值提升了8.1%。