基于双流图卷积网络的人体行为识别算法

针对传统的卷积网络对人体行为识别速度不高或识别精度偏低的问题,提出了基于图卷积网络(GCN)的人体行为识别算法。首先,介绍了时空图卷积网络(ST-GCN)算法,该算法将人体骨架信息归类于图信息,并在时域和空间域上对人体信息进行图卷积运算;其次,使用双流GCN进行模型的搭建,双流GCN是对ST-GCN的一种改进,为某些相距很远但某些动作中关系密切的点创建“不可能连接”,并提出骨骼的长度和方向对人体行为识别也起到重要作用的观点。实验结果表明:对于选取的4个行为的平均识别率达到了92.2%,因此,基于双流GCN算法的人体行为识别方法具有可行性。

基于残差融合双流图卷积网络的手势识别方法

针对传统图卷积网络易忽略空间特征与时间特征之间关联的问题,设计了一种基于残差结构和图卷积网络相融合的双流网络模型。首先网络包括空间流和时间流两个通道,将手势骨骼数据构建成空间图和时序图作为两通道的输入,通过分离时间维度和空间维度极大地提高了训练速度。然后为了增加网络深度,避免梯度消失等问题,嵌入残差结构并对其进行改进,更加有效利用时间特征,保证了特征的多样性。最后将两通道输出的空间点集序列和时间边集序列串联转化,输入Softmax分类器进行分类,得到识别结果。将新提出的方法在CSL和DEVISIGN-L手势数据集上进行实验,结果表明在两个数据集上识别精度分别达到了96.2%和69.3%,证明该方法具有一定的先进性。

基于图卷积网络改进的人体动作识别模型

针对双流自适应图卷积动作识别网络2S-AGCN模型忽略了人体动作识别中特征的长距离信息以及通道之间的依赖的缺点,设计了一种双重注意力机制对2S-AGCN模型的图卷积模块进行改进,实现精度的提升。双重注意力机制包含了空间注意力机制以及通道注意力机制,其中空间注意力机制有选择性地聚集上下文,通道注意力机制分为两个并行的模块,第1部分提高了特征的可辨性,第2部分在捕获特征远程依赖的同时,保留了精准的位置信息。结果表明,以双流自适应图卷积动作识别网络2S-AGCN模型为基础网络,融入了双重注意力机制模块的模型在Kinetics数据集上的Top-1和Top-5分别提升了0.6%和1.3%,在NTURGB+D120数据集的CS和CV上的Top-1分别提升了1.2%和0.5%,在NTURGB+D数据集的CS和CV上的Top-1分别提了0.2%和0.1%。