基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度(Cross view,CV)精度达到92.5%,平均跨视角(Cross subject,CS)精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。

融合注意力机制的LSTM-GCN网络人体行为识别

针对现有人体骨架行为识别方法中因只侧重于视频数据中时间或空间信息的单独提取而存在的时空特征提取不充分的问题,提出一种融合注意力机制的LSTM-GCN网络。该网络设计为LSTM层和图卷积层两层,其中LSTM层重点提取骨架序列的时间信息,图卷积层重点提取骨架序列的空间信息。同时在两个网络层中融入了注意力机制,并按人体骨骼点对整体动作贡献程度对其分配不同的权重,实现了对数据中显著特征及关键帧的增强识别。两个网络层按一定的比重融合后利用Softmax对动作进行分类识别。为验证该方法的优越性,在Kinetics和NTU-RGB+D两个比较典型的公开数据集上进行了仿真实验和消融实验。同时录制了一些相似度高、易混淆的视频,并对其识别结果可视化,再次证明该方法的普适性。实验结果表明该方法可以有效增强人体骨骼行为识别性能,并在计算精度和识别效率上具有一定的优势。