基于时移和片组注意力融合的双流行为识别网络

基于深度学习的行为识别算法往往由于复杂的网络设计而难以在实际应用中达到快速、准确的识别效果.针对以上情况,提出一种轻量型的基于时移和片组注意力融合的端到端双流神经网络模型.算法在RGB与光流分支网络中,采用时间稀疏分组随机采样策略实现长时程建模,利用时移模块在时间维度上置换部分通道从而结合邻帧信息来提升时序表征能力,同时通过多路径及特征图注意融合的片组注意力模块提升网络的识别性能.实验表明,模型在行为识别公共数据集UCF101及HMDB51上分别达到了95.00%和72.55%的识别准确率.

基于TSM-MobileNetV3的洗手动作在线识别研究

洗手动作需关注手部运动时序特征,采用3D-CNN网络或光流法对其进行动态识别时存在计算量较大、实时性较差等问题。为此建立洗手动作数据集,并基于TSM(时移模块)思想提出一种动态手势在线识别的轻型网络TSM-MobileNetV3。首先针对高性能网络MobileNetV3结构特点,设计了一种TSM模块融合方式,构成本网络的残差结构;其次通过对比不同的TSM移位比例、时移长度以及共识融合策略对识别准确率的影响,确定了网络结构与参数。实验表明,在CPU上运行时,此方法在31ms的延迟下可以达到99.872%的识别准确率。