基于改进自适应网络的行为识别

行为识别在识别人体动作的过程中容易受到光照,遮挡等外界因素的不良影响,而骨架数据恰好能减轻上述因素的不良影响。对于行为识别数据量数据过大导致工作量增加的问题,深度学习技术的出现不仅提供了一个新的出路,而且其特殊的结构对于处理骨架数据比较容易。行为识别主要的挑战也来自行人的自主性太强导致观测视角随着行人不断变化,多变的视角不利于深度学习网络进行行为识别,容易导致动作误判。因此,首先针对视角变化的进行了研究并在网络框架中借鉴了一种新的视图自适应方案,使行为识别在动作持续时间内可以自动确定虚拟观察视点。然后研究了两种视图自适应神经网络,分别是基于带有长短期记忆(Long Short-Term Memory,LSTM)的递归神经网络和卷积神经网络(Convolutional Neural Network,CNN),在此研究之下构建了自适用深度卷积网络和自适应长短时记忆网络。接着在这两种网络中,通过一个新的视图适应模块学习并确定最优的观察视点,同时利用LSTM和CNN特性进行网络优化。最后对两种网络的最终预测结果进行融合,在NTU RGB+D数据集上的进行了广泛的实验来评估改进的自适应视点网络的效果。实验结果证明行为识别的效果得到了提高和优化,具有一定的鲁棒性。