结合局部全局特征与多尺度交互的三维多器官分割网络

目的 高度适形放射治疗是常用的癌症治疗方法,该方法的有效性依赖于对癌组织和周边多个危及器官(organ at risk,OAR)解剖结构的精确刻画,因此研究三维图像多器官的高精度自动分割具有重要意义。以视觉Transformer(vision Transformer,ViT)和卷积神经网络(convolutional neural network,CNN)结合为代表的三维医学图像分割方法表现出了丰富的应用优势。然而,这类方法往往忽略同一尺度内和不同尺度间的信息交互,使得CNN和ViT特征的提取和融合受限。本文提出一种端到端多器官分割网络LoGoFUNet(local-global-features fusion UNet),旨在应对现有方法的缺陷。方法 首先,针对单一器官分割,提出在同一尺度下并行提取并融合CNN和ViT特征的LoGoF(local-global-features fusion)编码器,并构建了一个端到端的三维医学图像分割多尺度网络M0。此外,考虑到器官内部以及器官之间的相互关系,该方法在M0网络的基础上设计并引入了多尺度交互(multi-scale interaction,MSI)模块和注意力指导(attention guidance,AG)结构,最终形成了LoGoFUNet。结果 在Synapse数据集和SegTHOR(segmentation of thoracic organs at risk)数据集上,本文方法相比于表现第2的模型,DSC(Dice similarity cofficient)指标分别提高了2.94%和4.93%,而HD95(Hausdorff distance_95)指标则分别降低了8.55和2.45,切实提升了多器官分割任务的性能表现。在ACDC(automatic cardiac diagnosis challenge)数据集上,3D分割方法的适用性大多较差,但LoGoFUNet依然得到了比2D先进方法更好的结果,说明其对数据集的适应能力更强。结论 该方法的分割模型综合尺度内和尺度间的信息交互,具有更好的分割结果,且在数据集上的泛化性更好。

集成全局局部特征交互与角动量机制的端到端多目标跟踪算法

针对多目标跟踪(MOT)算法性能对于检测准确度和数据关联策略的依赖性问题,该文提出一种新的端到端算法。在检测方面,首先基于特征金字塔网络,提出空间残差特征金字塔模块(SRFPN),以提升特征融合和信息传递的效率。随后,引入全局局部特征交互模块(GLFIM)来平衡局部细节和全局上下文信息,增强多尺度特征的专注度,提高模型对目标尺度变化的适应性。在关联方面,引入角动量机制(AMM),充分考虑目标运动方向,以提升连续帧之间目标匹配的精确性。在MOT17和UAVDT数据集上进行实验验证,所提跟踪器的检测性能和关联性能均显著提升,并且在目标遮挡、尺度变化和杂乱背景等复杂场景下表现出良好的鲁棒性。

局部-全局特征引导的图文多级关系分析与挖掘方法

具有语义相关性的文本、图像数据往往具有互补性,可以从不同角度增强语义理解,因此,图文语义关系挖掘是图文数据得以充分利用的关键。为解决图文数据深层语义关系挖掘不充分、检索阶段预测不精准的问题,本文提出了一种局部-全局特征引导的多级关系分析与挖掘方法。采用多头自注意力机制的Transformer建模图像关系,构建图像引导的文本注意力模块,挖掘图像区域和全局文本间的细粒度关系,融合局部-全局特征有效增强图文数据的语义关系。为验证本文方法,在Flickr30K、MSCOCO-1K和MSCOCO-3K数据集上进行实验,并与VSM、SGRAF等13种方法进行对比分析,本文方法中以文索图的召回率平均提升了0.62%,以图索文的召回率平均提高了0.5%,实验结果验证了本文方法的有效性。

基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。

基于全局与局部特征的二阶段文档图像可见水印去除模型

可见水印是一种常用的数字图像版权保护手段。分析可见水印去除结果可以验证图像上水印的有效性,并为水印设计者提供设计或添加水印的参考和启发。目前,大多数的水印去除方法都是基于自然图像的研究,而文档图像在生活中也被广泛使用,但由于缺乏公开的文档图像去水印数据集,相关文档图像的水印去除研究较少。为了探究水印去除方法在文档图像上的水印去除效果,构建了一个文档图像水印去除数据集(SDIWRD)。在对文档图像可见水印去除的研究中发现,使用已有的水印去除方法得到的水印去除结果中容易留下水印主体伪影或者轮廓伪影。为了解决这个问题,提出了一种基于全局与局部特征的二阶段文档图像可见水印去除模型(RWRNet),该模型采用由粗到细的二阶段的半实例归一化编解码器架构。在粗略阶段,使用全局与局部特征提取模块增强对全局空间特征的捕捉能力,同时保留对局部细节信息的提取能力,从而帮助进行水印去除;在细化阶段,细化网络共享粗略阶段权重,并构建循环特征融合模块来充分挖掘粗略阶段编解码器的重要特征,为细化阶段提供丰富的上下文信息,帮助进行细致的水印去除。此外,还结合了结构相似性损失来帮助获取更好的视觉质量。所提方法在SDIWRD数据集上进行了实验,实验结果显示PSNR达到了41.21 dB,SSIM达到了99.07%,RMSE降低至3.64,优于现有水印去除方法。另外也在公开的CLWD彩色水印去除数据集进行了实验,实验结果显示PNSR达到了39.31dB,SSIM达到98.81%,RMSE降低至3.50,也优于现有水印去除方法。实验结果证明了所提方法具有良好的泛化性和去水印的能力,能有效减轻水印伪影。最后还提出了一些防止水印去除的建议,在相关网站1)可公开访问所提出的方法和数据集。

全局-局部特征融合的人体姿态估计算法

针对现有人体姿态估计算法存在因骨干网络特征提取不充分,导致关键点特征信息丢失的问题,提出一种结合全局-局部特征融合模块的人体姿态估计网络模型(GLF-Net)。为了在特征提取阶段获得高质量的特征图,该算法从全局特征和局部特征出发,对骨干网络ResNet-50进行改进,分别设计了全局极化自注意力模块和局部深度可分离卷积模块。同时采用并行的结构方式将融合了全局位置信息和局部语义信息特征的模块嵌入到骨干网络的Bottleneck层中,既能增强原骨干网络的特征提取能力,又为后续的Transformer网络提供有效的全局和局部特征输入,进而提高姿态关键点检测的性能。在公开人体姿态估计数据集COCO 2017上和MPII数据集上分别进行模型测试,该算法性能与与基准算法(Poseur)相比,姿态关键点的平均准确度(AP)提升了2.1%,平均召回率(AR)提升了1.5%,正确估计关键点比例(PCKh@0.5)最高达到90.6。实验结果表明,所提算法在姿态估计精度上优于现存同类方法,可以明显提高人体姿态关键点的定位准确度。

宽卷积局部特征扩展的Transformer网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。

基于局部细化多分支与全局特征共享的无监督行人重识别方法

无监督行人重识别因其在真实监控场景中具备良好的可扩展性而备受关注。现有的无监督行人重识别方法主要通过基础骨干网络获取粗略的全局特征来训练网络,很少利用局部细化分支与全局特征共享来形成更具有鉴别性的特征描述符。本文提出一种基于局部细化多分支与全局特征共享的特征提取网络,该网络融合了粗略的全局特征和局部细化分支中的细腻特征来获取行人多样化的特征表达。另外,为了提升分支网络对潜在关键区域信息的捕获能力,在分支操作前放置通道细化信息融合的注意力块来增强网络对行人特征的关注力度,执行细化特征的专注学习。通过在Market-1501、DukeMTMC-reID和MSMT17数据集上的实验结果验证了所提方法的有效性,平均精度(mAP)分别提升了4.4%、3.2%、6.4%,其中在Market-1501数据集上的平均精度达到了83.3%。

基于全局-局部注意力机制和YOLOv5的宫颈细胞图像异常检测模型

目标建立一种新的基于全局-局部注意机制和YOLOv5的宫颈病变细胞检测模型(Trans-YOLOv5),为准确、高效地分析宫颈细胞学图像并做出诊断提供帮助。方法使用共含有7410张宫颈细胞学图像且均包含对应真实标签的公开数据集。采用结合了数据扩增方式与标签平滑等技巧的YOLOv5网络结构实现对宫颈病变细胞的多分类检测。在YOLOv5骨干网络引用CBT3以增强深层全局信息提取能力,设计ADH检测头提高检测头解耦后定位分支对纹理特征的结合能力,从而实现全局-局部注意机制的融合。结果实验结果表明Trans-YOLOv5优于目前最先进的方法。mAP和AR分别达到65.9%和53.3%,消融实验结果验证了Trans-YOLOv5各组成部分的有效性。结论本文发挥不同注意力机制分别在全局特征与局部特征提取能力的差异,提升YOLOv5对宫颈细胞图像中异常细胞的检测精度,展现了其在自动化辅助宫颈癌筛查工作量的巨大潜力。

基于局部和全局特征的点云对应关系构建

点云对应关系的构建,即在两个点云模型之间构建一个映射关系,是点云配准中的关键步骤。目前大多数点云对应关系构建都是基于点云的局部特征,没有考虑到三维场景上的人类视觉系统特征。因此提出基于局部和全局特征融合的点云特征检测来构建对应关系的方法,该点云特征检测方法能够有效的提取出点云在视觉上的显著几何区域,通过在这些区域能构建一个比较可靠的稀疏对应关系,从而为后续的稠密对应关系构建提供良好的前置条件。经过实验结果验证,本文方法在人体点云模型上能取得较好的对应关系结果。

无监督学习全局和局部特征建模的低光照图像增强

在EnlightenGAN的启发下,提出了一种新的基于无监督学习全局和局部特征建模的低光照图像增强网络(Low-light Image Enhancement Network Based on Unsupervised Learning Global and Local Feature Modeling Image Enhancement,GLFMIE)。该网络分为两个阶段:生成网络和判别网络。生成网络包括全局和局部特征建模网络,判别网络包括全局和局部判别网络。在全局特征建模中创新性地引入了Swin-Transformer Block,其移位窗口机制可以以较少的内存消耗对输入图像进行长距离的特征依赖建模,并很好地提取图像颜色、纹理和形状的特征,从而有效地抑制噪声和伪影。在局部特征建模中,设计了一种多尺度图像和特征聚合(Multi-Scale Image and Feature Aggregation,MSIFA)网络,允许在单个U型网内交换来自不同尺度的信息,进一步增强图像特征的表征能力。在多个公共数据集的测试实验中,与已有一些先进低光照图像增强算法相比,该算法均取得了SOTA级别的表现。

融合局部和全局特征的多视角深度学习多功能酶预测

多功能酶是一种特殊类型的酶,具有催化各种基本化学反应的能力。研究表明,多功能酶能够以不同形式催化不同的化学反应,这使得多功能酶比普通的单功能酶更具有研究和使用价值。随着机器学习的发展,人们尝试借助深度学习等计算方法来处理酶功能分类问题,本文提出了一种融合局部和全局特征的多视角深度学习多功能酶分类预测模型mlCBiGCnet。在该方法中,使用卷积神经网络(CNN)和双向门控递归单元(BiGRU)组成的混合网络对酶序列深度特征进行学习,其中CNN模块用于学习酶序列的深度局部特征,BiGRU模块用于学习深度全局特征,并进一步融合为新的复合特征输入到全连接层,最后由多标签分类器得到多功能酶分类结果。此外,使用图卷积网络学习酶EC类标签相关性深度特征,用以指导酶序列多视角深度特征的学习过程。在CNN-BiGRUs模块中,利用多头注意力机制对提取的酶序列深度特征进行特征增强,以加速训练过程,提升模型性能。实验结果表明,与现有方法相比,mlCBiGCnet在子集精度、 Micro_F1_score等指标上都有了更好的表现。

基于全局和局部特征的图像拼接方法

针对传统序列图像拼接算法中的误差累积问题,提出一种基于全局和局部特征的图像拼接方法.同时拍摄大视场角、低分辨率全局图像和小视场角、高分辨率局部图像,利用深度学习替代传统算法提取两者匹配点,进而根据两者面积比等比例扩大全局图像的匹配点坐标,将局部图像无缩放地投影至全局图像所在平面,最后融合投影后局部图像的重叠区域,拼接形成一幅大视场角、高分辨率全景图像.实验结果表明,该方法中深度学习快速且精准地实现了特征匹配,同时局部图像间相互独立,有效地解决了拼接顺序限制和拼接误差累积.

利用全局与局部帧级特征进行基于共享注意力的视频问答

视频问答是视觉理解领域中非常重要且具有挑战性的任务。目前的视觉问答(VQA)方法主要关注单个静态图片的问答,而现实生活中的数据是立体动态的视频。此外,由于问题的复杂性,视频问答任务必须根据问答问题恰当地处理多种视觉特征才能获得高质量的答案。文中提出了一个通过利用局部和全局帧级别的视觉信息来进行视频问答的多共享注意力网络。具体来说,以不同帧率提取视频帧,并以此提取帧级的全局与局部视觉特征,这两种特征包含了多个帧级别特征,用于对视频时间动态建模,再以共享注意力的形式建模全局与局部视觉特征的相关性,然后结合文本问题来推断答案。在天池视频问答数据集上进行了大量的实验,验证了所提方法的有效性。

基于全局-局部特征和自适应注意力机制的图像语义描述算法

为了探究图像底层视觉特征与高层语义概念存在的差异,提出可以确定图像关注重点、挖掘更高层语义信息以及完善描述句子的细节信息的图像语义描述算法.在图像视觉特征提取时提取输入图像的全局-局部特征作为视觉信息输入,确定不同时刻对图像的关注点,对图像细节的描述更加完善;在解码时加入注意力机制对图像特征加权输入,可以自适应选择当前时刻输出的文本单词对视觉信息与语义信息的依赖权重,有效地提高对图像语义描述的性能.实验结果表明,该方法相对于其他语义描述算法效果更有竞争力,可以更准确、更细致地识别图片中的物体,对输入图像进行更全面地描述;对于微小的物体的识别准确率更高.

自适应融合局部和全局特征的图像质量评价

无参考图像质量评价通过算法来量化图像质量的失真程度。有效建立失真位置与周围空间的依赖关系能提高质量预测的准确性,但目前基于卷积神经网络的无参考图像质量评价方法,仅通过传统的卷积对局部失真区域进行特征提取,无法有效地获取全局的失真关系,容易弱化对失真扭曲等特征表示。因此,提出了一种基于自适应融合局部和全局特征的图像质量评价算法。在待评价图像上进行特征提取时,自适应地构建围绕每个空间位置的长距离空间和通道间的依赖关系,通过全局失真关系来增强局部特征信息的表征能力;增强图像的细节信息,并在不同尺度的特征层上自适应地融合局部和全局失真信息,整合更加丰富的失真特性,进而提高特征的判别性;再将多个尺度上的不同失真信息进行融合获得最终的质量评价得分,这种融合可以避免图像浅层信息的损失。为验证模型的有效性,在真实失真和合成失真数据集上进行实验对比分析,结果表明,在真实失真数据集LIVEC上SROCC达到0.867,对图像质量的预测更符合人类对质量的感知。

基于航迹全局和局部混合特征的航迹关联算法

针对分布式多传感器系统在传感器偏差下的航迹关联问题,提出了一种基于航迹全局和局部混合特征的航迹关联算法,该算法分为航迹匹配和空间变换。首先,利用距离和角度描述航迹的全局和局部特征,用于度量航迹之间的全局和局部结构差异,随后利用混合全局和局部特征构建目标函数,并通过线性分配算法最小化航迹之间的结构差异,进而获取航迹之间的对应关系;其次,采用薄板样条函数将局部航迹变换到统一的坐标系下,并利用模拟退火算法迭代航迹匹配和空间变换,从而获得传感器偏差下的航迹关联结果。仿真和真实数据实验结果表明,与现有的4种关联算法相比,该算法在所有的实验数据中均取得了最优的关联结果,且与现有的最优算法相比,航迹关联准确率提升了4.36%,运行时间下降了59.33%。

基于全局与局部融合的相关性对齐跨模态检索

哈希算法因其低存储和高效率而被广泛应用于跨模式检索深度哈希能够很好地提取多模态数据的特征,近年来受到越来越多的关注。然而,大多数用于跨模态检索的深度哈希方法没有充分利用使用所有信息,也没有充分挖掘异构数据的相关性。提出一种基于全局和局部特征的深度跨模态哈希与相关性对齐方法在该方法中,分别为图像和文本模态设计两个深度神经网络来分别提取图像和文本的全局和局部的特征,并学习两个哈希函数同时,保留异构数据特征的模态间相似性,这可以利用语义相关性其次,对异源数据的分布进行对齐,以便更好地挖掘模态间相关性。实验结果表明,该方法优于最先进的方法。

融合子空间共享特征的多尺度跨模态行人重识别方法

跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度m AP达到了60.62%。

基于多尺度特征度量元学习的玉米叶片病害识别模型研究

传统基于深度学习的玉米叶片病害检测模型检测精度不高、模型参数量大,基于此,提出一种融合多尺度、无参数度量学习的玉米叶片病害识别算法模型。首先,利用Vgg-16、Swin Transformer网络,将玉米叶片病害图片映射到全局和局部特征空间;然后,利用多尺度特征融合网络,实现全局和局部特征的深度融合,强化特征的分类能力;最后,利用无参数元学习网络,实现待测玉米叶片病害图片与特征集之间的度量,根据度量结果,实现玉米叶片病害的快速定位与识别。在开源Plant Village数据集、自建玉米叶片病害数据集上进行了测试,所提出模型的识别准确率分别为97.45%、96.39%,同时保持了较低的识别时间开销;相比其他经典玉米叶片病害识别模型,具有更强的鲁棒性和泛化性能。