融合内外依赖的人体骨架动作识别模型

基于动态骨架图的人体动作识别是计算机视觉领域中的一个研究热点。传统识别方法大多是建立在人体骨架的局部自然物理连接上(内在依赖)。然而,许多隐含的非局部的关节连接有时对于人体动作识别是不可忽略的,如手脚的互动等。引入外在依赖概念来表示这种隐式的非物理连接,并通过内、外依赖机制来处理骨架图,完成内、外依赖的空间图卷积融合。通过设计合适的时间卷积模块,进一步构建融合内外依赖的的时空图卷积网络(IEDSTGCN)。实验表明,IED-STGCN在Kinetics数据集上的识别精度比现有的时空图卷积网络(ST-GCN)提升了2.5个百分点,在X-Sub和X-View两个数据集上的识别精度分别比现有的ST-GCN模型提升了3.4和3.8个百分点。该研究的主要技术有时间卷积(TC)、内在依赖图卷积(IGC)以及外在依赖图卷积(EGC)等,通过消融实验说明了这些技术的有效性。