-
题名基于自校准机制的时空采样图卷积行为识别模型
- 1
-
-
作者
曹毅
吴伟官
张小勇
夏宇
高清源
-
机构
江南大学机械工程学院
江南大学江苏省食品制造装备重点实验室
-
出处
《工程科学学报》
EI
CSCD
北大核心
2024年第3期480-490,共11页
-
基金
江苏省“六大人才高峰”计划(ZBZZ-012)
江苏省优秀科技创新团队基金资助项目(2019SK07)
高等学校学科创新引智计划(B18027)。
-
文摘
针对现有行为识别算法忽视时空信息上下文的依赖关系和缺乏多层次感受野的特征提取问题,本文提出一种基于自校准机制的时空采样图卷积网络行为识别模型.首先,介绍ST-GCN和3D-GCN、Transformer和自注意力机制的工作原理,并分析了3D-GCN和Transformer不能有效进行时空上下文建模;其次,为有效进行时空上下文建模而提出了一种时空采样图卷积网络,其以时序连续多帧作为时空采样将全局动作分为多个子动作,通过非局部网络计算单一节点与采样频率帧内所有节点的相关性来建立局部跨时空依赖关系,并通过结合非局部网络和时域卷积计算单个采样子动作与全局子动作的相关性以此来建立全局跨时空依赖关系;然后,为了有效地增强多层次的感受野来捕获更具判别力的时域特征,提出了一种时域自校准卷积网络在两个不同的尺度时空中分别进行卷积并特征融合:一种是原始比例尺度的时空,另一种是使用下采样具有较小比例尺度的潜在时空;再者,结合时空采样图卷积网络和时域自校准网络构建基于自校准机制的时空采样图卷积网络行为识别模型,在多流网络下进行端到端的训练.最后,基于NTU-RGB+D和NTU-RGB+D120骨架动作数据集开展了骨架行为识别的相关实验研究,研究结果表明该行为识别模型具有高效的时空特征提取能力以及优秀的性能.
-
关键词
行为识别
时空采样图卷积
时空上下文
时域自校准
多流网络
-
Keywords
action recognition
spatiotemporal sampling graph convolutional network
spatiotemporal context
self-calibration mechanism
mutilstream network
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-