并行双路径主干下全局特征融合的目标检测算法

常规单路径架构主干经过积极的下采样,往往导致特征信息的丢失。同时,仅依靠特征金字塔简单地相加或拼接不利于浅层到深层的特征集成。针对上述问题,提出一种并行双路径主干下全局特征融合的目标检测算法。采用双路径架构主干并行地提取空间与语义信息,并通过双路径融合模块,促进特征信息间的相互补充。顶部特征依次与金字塔池化多尺度池映射相加,利用注意力机制将多尺度池化特征聚集其中,进一步提高多尺度的检测性能。聚集全局尺度信息,利用自注意机制将其融入不同层特征,并重复多次以构建全局特征融合的颈部网络结构,有效提升颈部网络融合全局上下文信息的能力。头部采用Ghost Conv并结合通道混洗操作,维持模型性能的同时减少参数冗余。在KITTI、BDD100K和PASCAL VOC数据集上展开实验,所提算法的平均精度值相较于基线模型(YOLOv7-tiny)分别提高了3.5、3.4和2.7个百分点。实验结果表明,提出的算法提升了复杂场景下的检测性能,而且对算力等资源的要求较低。

局部-全局特征引导的图文多级关系分析与挖掘方法

具有语义相关性的文本、图像数据往往具有互补性,可以从不同角度增强语义理解,因此,图文语义关系挖掘是图文数据得以充分利用的关键。为解决图文数据深层语义关系挖掘不充分、检索阶段预测不精准的问题,本文提出了一种局部-全局特征引导的多级关系分析与挖掘方法。采用多头自注意力机制的Transformer建模图像关系,构建图像引导的文本注意力模块,挖掘图像区域和全局文本间的细粒度关系,融合局部-全局特征有效增强图文数据的语义关系。为验证本文方法,在Flickr30K、MSCOCO-1K和MSCOCO-3K数据集上进行实验,并与VSM、SGRAF等13种方法进行对比分析,本文方法中以文索图的召回率平均提升了0.62%,以图索文的召回率平均提高了0.5%,实验结果验证了本文方法的有效性。

用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于层级和全局特征结合的蛋白质序列EC编号预测

酶功能的识别对理解生命活动的机制、推进生命科学的发展有重要作用。然而现有的酶EC编号预测方法,并未充分利用蛋白质序列信息,在识别精度上仍有所不足。针对上述问题,本研究提出一种基于层级特征和全局特征的EC编号预测网络(EC number prediction network using hierarchical features and global features,ECPN-HFGF)。该方法首先通过残差网络提取蛋白质序列通用特征,并通过层级特征提取模块和全局特征提取模块进一步提取蛋白质序列的层级特征和全局特征,之后结合两种特征信息的预测结果,采用多任务学习框架,实现酶EC编号的精确预测。计算实验结果表明,ECPN-HFGF方法在蛋白质序列EC编号预测任务上性能最佳,宏观F1值和微观F1值分别达到95.5%和99.0%。ECPN-HFGF方法能有效结合蛋白质序列的层级特征和全局特征,快速准确预测蛋白质序列EC编号,比当前常用方法预测精确度更高,能够为酶学研究和酶工程应用的发展提供一种高效的思路和方法。

基于局部和全局特征解耦的图像去噪网络

针对当前基于Transformer的图像去噪算法侧重于捕获图像的全局特征,而忽视局部特征对于恢复图像细节关键作用的问题,提出一种基于局部和全局特征解耦的图像去噪网络。该网络包含2个基于混合Transformer模块(HTB)的多尺度分支和1个基于卷积神经网络(CNN)的单尺度分支,旨在将HTB强大的全局建模能力与CNN的局部建模优势有机结合,生成上下文信息丰富且空间细节准确的输出。HTB采用自注意力机制自适应地对空间和通道维度的依赖关系建模,以激活范围更广的输入像素进行重建。鉴于不同分支间可能存在的信息冲突,设计特征传递模块,通过跨分支传递全局特征并抑制低频信息,从而确保各分支间的协同作用。实验结果表明,在真实世界图像数据集SIDD上,与基于Transformer的去噪网络Uformer相比,所提网络的峰值信噪比(PSNR)提高了0.09 dB,结构相似度(SSIM)提高了0.001;在合成图像数据集Urban100上,与多阶段去噪网络MSPNet(Multi-Stage Progressive denoising Network)相比,所提网络的平均PSNR提高了0.41 dB。可见,所提网络能有效去除图像噪声,并重建出更精细的纹理细节。

基于全局特征引导和注意力的宫颈细胞核分割

针对宫颈细胞中正常和异常细胞核大小形态各异、细胞图像中存在干扰物影响分割等问题,本文提出一种基于全局特征引导和注意力的分割网络来提高细胞核分割精度。首先以U型网络结构作为主体,引入全局特征引导模块,充分提取各个阶段的特征获得不同层次的全局上下文信息,克服了U型网络单阶段上下文信息提取能力不足的问题以更好地处理不同形状的细胞核,提高边缘分割精度;其次,引入改进的注意门结构抑制图像中干扰物的信息,突出细胞核的信息,提高模型对干扰信息的辨别能力。在Herlev数据集上的实验结果表明,本文的方法能够有效地提高细胞核分割精度,在定量分析中Dice系数为0.9413,相较于其他方法具有一定的优势。

面向全局特征Transformer架构的单目深度估计

针对卷积神经网络(convolutional neural networks,CNN)全局特征提取不足导致深度估计错误的问题,提出了一种面向全局特征的深度学习网络用于单目深度估计。该网络采用编码器-解码器的端到端架构,其中,编码器为具有多阶段输出的Transformer网络,可提取多尺度的全局特征;解码器由CNN构成。此外,为抑制深度无关的细节信息影响,解码器末端采用了大卷积核注意力(large kernel attention,LKA)模块提升全局特征的提取能力。在室外场景数据集KITTI和室内场景数据集NYU Depth v2上的实验结果表明,面向全局特征的网络有助于生成高精度的、细节特征完整的深度图。与近期提出的同样基于CNN-Transformer的方法 AdaBins相比,所提出网络的参数量减少了42.31%,均方根误差减小了约2%。

基于全局特征地图的由粗到细点云配准算法

针对现有点云配准算法在非重复扫描式激光雷达上存在精度低、鲁棒性差、通用性差等问题,提出一种基于全局特征地图的由粗到细点云配准算法(CTF-ICP),并实现非重复扫描式激光雷达里程计。该算法利用高斯分布表征局部点云分布,构建全局特征地图。配准阶段包含粗配准和精配准。首先,采用正态分布变换在连续点云帧之间实现帧到帧的粗配准;然后,根据粗配准的结果将当前点云映射到全局特征地图,并将对应位置的全局特征协方差矩阵的特征值进行归一化,实现帧到地图的精配准;最后,将该文算法与其他常用的配准算法进行对比实验。实验结果表明:该文算法能够较好地适应非重复扫描式激光雷达,配准精度和速度比常用的配准算法都有明显提升;同时,消融实验证明了由粗到细的点云配准算法以及全局特征地图的有效性。

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道⁃空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。

基于深度学习扩张卷积网络的遥感图像分类全局特征提取研究

探索基于深度学习扩张卷积网络的遥感图像分类全局特征提取的有效性。研究内容包括使用扩张卷积神经网络算法处理UCMerced Land-Use数据集,并结合主成分分析法和线性判别分析法提取全局特征。实验结果显示,扩张卷积网络能够有效提高遥感图像的分类精度和特征提取能力,尤其是在河流和农田等场景中,网络显示出较高的分类精度。研究的意义在于展示了扩张卷积网络在处理空间信息丰富的遥感图像时的优势,为今后遥感图像处理的技术进步和应用开发提供参考。

基于局部特征和全局特征相融合的人脸识别技术

科学技术的创新和应用为社会发展提供了可靠的技术成果支持,人脸识别技术就是较为典型的代表,现阶段已经被应用于安保和防御等多个领域中,且呈现出普及应用的特征。在人脸识别技术应用范围逐渐扩大和应用场景逐渐多元的形势下,对人脸识别的效率和准确性也提出了更高的要求,传统单一的局部特征识别手段和全局特征识别手段虽然具备高效便捷的特征,但人脸识别的精度有待提升。鉴于此,下文在分析局部特征识别和全局特征识别技术的基础上,就二者的融合技术展开研究,以期进一步提升人脸识别效果。

基于空间关系聚合与全局特征注入的视觉问答模型

现有视觉问答模型缺乏视觉对象间关系的理解能力,导致复杂问题的答案预测准确率较差;针对该问题,提出了一种基于空间关系聚合与全局特征注入的视觉问答模型。该模型首先利用空间关系聚合视觉区域特征,将其转换为视觉全局特征,并将这些特征注入网络;然后引入双边门控机制进行特征融合,使模型能够根据不同的问题输入,自适应地调整视觉全局特征和视觉区域特征对答案预测的贡献度;最后将融合特征输入分类网络,得到预测结果。在VQA 2.0和GQA公开数据集上进行实验,结果表明:该模型在VQA2.0的测试-开发集、测试-标准集和GQA的数据集上的总准确率分别达到71.12%、71.54%和57.71%,优于MCAN和SCAVQAN等主流模型。该模型由于引入了具有空间关系的视觉全局特征,能够更好地提升视觉对象间关系的理解能力,有效提高了视觉问答模型的准确率。

基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少,传统行人检测模型对小目标检测效果较差的问题,提出一种基于消隐点性质,提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质,对图像中的多个目标进行复制;通过仿射变换投影到新的位置,生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构,融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络(GFF-neck),以融合全局特征.实验表明,在经过数据增强后的WiderPerson数据集上,改进算法对行人类别的检测AP值达到了79.6%,在VOC数据集上mAP值达到了80.2%.测试结果表明,当搭建实验测试系统进行实景测试时,所提算法有效提升了小目标行人检测识别精度,并满足实时性要求.

基于多维全局特征融合的移动机器人地形识别

为提高移动机器人对复杂作业场景的适应性,提出了一种基于多维全局特征融合的移动机器人地形识别方法。利用IMU传感器获取四轮移动机器人在不同地形的运动信息,采用哈希编码算法提取六通道加速度和角速度信息的全局特征,结合随机森林分类器对水泥、木板、砖石、草地和砂石路面地形进行了识别。实验结果表明,本方法可提高地形识别准确率,实现对五种地形环境的识别。

集成局部和全局特征的舰船图像检索算法

面对现有船舶图像检索存在的“语义鸿沟”问题,导致无法满足用户实际检索需求,研究集成局部和全局特征的船舶图像检索算法,实现不同条件下的船舶图像检索。通过颜色矩方法提取船舶图像全局颜色特征;通过块截断量化编码理念,采用模糊C-均值聚类算法将船舶图像分割成子块,构建子块的二值位图,表示图像局部颜色特征;结合小波变换提取船舶图像纹理特征;求解待检索船舶图像与数据库中船舶图像的各特征相似度,获取总相似度,选取总相似度最大图像作为图像检索输出结果。实验结果表明:该算法可有效提取船舶图像纹理特征;尺度变化、光照变化、旋转条件下的船舶图像检索性能较好,平均匹配率97.94%,平均匹配时间为11.9 ms,检索速度快,操作简单,能够满足用户实时性检索需要。

基于全局特征点匹配的全局定位方法

针对传统全局定位方法存在对传感器要求多、计算量大的问题,提出了一种基于全局特征点匹配的移动机器人定位方法。该方法采用普通2D雷达作为传感器,在机器人建立全局地图的过程中同步地提取全局特征点,在全局定位算法中,通过建立局部地图和提取局部地图特征点,实时将局部地图特征点和全局地图特征点进行匹配后求解全局位姿。在两个数据集上的测试,结果优于蒙特卡罗自适应定位(adaptive Monte Carlo localization,AMCL)和Cartographer的全局定位效果,运算速度更快。结果表明,与已有的方法相比,该全局定位方法能够更快地完成全局定位和有效减少计算资源的消耗。

顾及全局特征和纹理特征的遥感影像超分辨率重建方法

由于遥感设备的性能限制,使得采集的遥感影像质量受到影响,低分辨率的遥感影像限制了遥感解译应用的精度。当前针对遥感影像的超分辨率重建研究仍然存在重建后的遥感影像地物全局信息和纹理细节不足的问题。因此,本文提出顾及全局特征和纹理特征的遥感影像超分辨率重建方法,该方法利用生成对抗网络的特征学习能力,并对模型全局和纹理进行增强。一方面,地物全局特征增强部分用于解决当前研究中超分辨率重建模型对低分辨率遥感影像中全局遥感地物信息没有重视和利用的问题。在生成网络中引入自注意力模块,以获取全局地物注意力图的方式将遥感影像中相距较远的地物信息作为重建过程的参考。另一方面,遥感影像纹理增强部分用于解决超分辨率重建模型中超分辨率影像纹理信息不足的问题。本文方法引入纹理损失以优化生成网络参数并增强超分辨率重建后影像中的纹理信息。另外,为避免重建结果中的“伪影”现象,研究采用权值归一化代替批量归一化方法。试验结果表明,本文方法在遥感影像超分辨率重建过程中能增强遥感地物特征,同时可以实现地物的纹理细节精细化恢复,而且超分辨率重建结果的图像质量评价指标SSIM、FSIM和PSNR值分别达到了0.756、0.595和26.005。

基于局部和全局特征的点云对应关系构建

点云对应关系的构建,即在两个点云模型之间构建一个映射关系,是点云配准中的关键步骤。目前大多数点云对应关系构建都是基于点云的局部特征,没有考虑到三维场景上的人类视觉系统特征。因此提出基于局部和全局特征融合的点云特征检测来构建对应关系的方法,该点云特征检测方法能够有效的提取出点云在视觉上的显著几何区域,通过在这些区域能构建一个比较可靠的稀疏对应关系,从而为后续的稠密对应关系构建提供良好的前置条件。经过实验结果验证,本文方法在人体点云模型上能取得较好的对应关系结果。

基于局部和全局特征的深度伪造检测方法

近几年深度伪造技术已经能够生成高质量的虚假图像或视频,应用于娱乐的同时也对其他安全方面带来了严重威胁.尽管现有的检测方法在一些数据集上取得了较高的准确性,但跨数据集测试时有效性大幅度降低.针对这一问题,提出了基于局部和全局特征相结合的深度伪造检测方法.该方法通过多尺度Transformer模块从不同尺寸的图像块中提取全局信息,并使用EfficientNet网络结合注意力机制提取图像局部特征,最终根据提取的局部特征和全局特征对深度伪造人脸进行分类.实验结果表明,在FaceForensics++数据集上检测准确率达到了96.78%,在Celeb-DF和DFDC数据集上测试的结果分别达到了77.3%、73.32%.该方法可以挖掘伪造人脸中更多的局部和全局伪影,在不同数据集之间具有一定的泛化性.

融合局部和全局特征的多视角深度学习多功能酶预测

多功能酶是一种特殊类型的酶,具有催化各种基本化学反应的能力。研究表明,多功能酶能够以不同形式催化不同的化学反应,这使得多功能酶比普通的单功能酶更具有研究和使用价值。随着机器学习的发展,人们尝试借助深度学习等计算方法来处理酶功能分类问题,本文提出了一种融合局部和全局特征的多视角深度学习多功能酶分类预测模型mlCBiGCnet。在该方法中,使用卷积神经网络(CNN)和双向门控递归单元(BiGRU)组成的混合网络对酶序列深度特征进行学习,其中CNN模块用于学习酶序列的深度局部特征,BiGRU模块用于学习深度全局特征,并进一步融合为新的复合特征输入到全连接层,最后由多标签分类器得到多功能酶分类结果。此外,使用图卷积网络学习酶EC类标签相关性深度特征,用以指导酶序列多视角深度特征的学习过程。在CNN-BiGRUs模块中,利用多头注意力机制对提取的酶序列深度特征进行特征增强,以加速训练过程,提升模型性能。实验结果表明,与现有方法相比,mlCBiGCnet在子集精度、 Micro_F1_score等指标上都有了更好的表现。