基于混合特征图卷积神经网络的人体行为识别方法

基于可穿戴传感器的人体行为识别方法不能很好地处理时间序列数据采样点之间的结构信息,也忽略了数据样本之间的潜在联系。针对这一问题,提出了混合时频特征和结构特征的图卷积神经网络模型进行人体动作识别。首先,通过小波包变换获取原始信号的时频特征,进一步构建时空图提取信号的结构特征以挖掘采样点间的动态特性,并在结构特征中加入距离约束,弱化时空图中远距离邻居对中心节点的影响。其次,考虑到结构特征提取时受时空图拓扑关系影响较大,选择样本的时频特征构造图卷积神经网络的输入拓扑,混合时频特征和结构特征作为网络输入特征。最后,输入特征沿着输入拓扑结构传播,得到最终分类结果。为了评估所提模型的性能,在WHARF和DataEgo数据集上进行了实验验证。实验结果表明:所提模型的F1分数相比已有的基于卷积神经网络模型在WHARF和DataEgo上均有提升,WHARF数据集上F1最高提升19.58百分点,DataEgo数据集上F1最高提升26.44百分点,证明所提出模型通过挖掘动态特性能够有效提高动作识别能力。