DCFF-Net:基于人体骨骼点的双流跨级特征融合动作识别网络

在基于骨骼的动作识别任务中,骨骼点特征对于动作识别来说至关重要。针对现有方法存在输入特征不足、特征融合策略粗糙、参数量大等问题,提出一种基于人体骨骼点的双流跨级特征融合网络。首先,针对特征输入,用欧氏距离骨架特征(EDSF)和余弦角度骨架特征(CASF)两种局部关节特征来表征人体骨骼序列,帮助网络识别不同体态和体态相似的人体动作;其次,考虑到部分动作类别的运动轨迹与全局运动的相关性,引入全局运动特征(GMF)弥补局部关节特征在此类动作上识别精度不足的问题;此外,为了加强不同特征之间的信息交互,提出一种跨级特征融合模块(CLFF),对不同特征层、不同属性的动作特征进行特征互补,丰富了网络的特征形式;最后,网络采用一维卷积(Conv1D)进行搭建,减轻了模型的计算负担。实验结果表明,所提模型在JHMDB身体动作数据集上获得了84.1%的识别准确率,在SHREC手势动作数据集上分别获得了97.4%(粗糙数据集)和95%(精确数据集)的识别准确率,取得了与先进方法相当的性能。

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.

多尺度特征融合与交互的伪装目标检测网络

伪装目标检测是一项在复杂场景中定位和识别伪装目标的任务.目前基于深度神经网络的方法已初步运用,但在复杂场景下遇到干扰时,许多方法无法充分利用目标的多级特征来提取丰富的语义信息,仅依靠固定尺寸特征识别伪装目标.为解决这一问题,本文提出了一种基于多尺度特征融合交互的伪装目标检测网络.该网络包含两个创新设计:多尺度特征感知模块和双阶段邻级交互模块.前者旨在通过结合多尺度特征的方式充分捕获复杂场景中丰富的局部-全局场景对比信息.后者则是整合来自相邻层的特征以利用跨层相关性将有价值的上下文信息从编码器传输到解码器网络.本文在CHAMELEON、CAMO-Test、COD10K-Test这3个公共数据集上对提出的方法进行了评测并与当前的主流方法对比.实验结果表明,本文方法的性能超越了当前的主流方法,在各项指标上达到了优异的性能水平.