基于时空注意力机制的群组行为识别方法研究

视频中的群组行为识别是一项具有挑战性的任务,主要面临两个难点,一是如何构建群组成员间的交互关系;二是如何从时序上优选区别性强的时空特征构建简约的行为描述符。本工作提出的基于时空注意力机制建模框架,旨在解决这两个问题。对于前者,将群组成员间交互关系演变由图注意力网络(graph attention networks,GAT)中节点连接图的更新迭代来描述;每个节点成员由外观特征、位置信息以及轨迹特征来描述;GAT内置注意力机制在迭代中分离出权重系数不等的节点,注意力系数越大的节点聚合的信息多,称为关键节点,仅由关键节点成员构建的交互关系即为简约交互关系。对于后者,提出将当前帧预分类出成员行为属性和群组行为类别的交合相似度系数(intersection similarity coefficient,ISC)系数作为当前帧的时序权重,来进一步约简上述交互关系旨在构建强区分性时空特征描述符,最后由softmax分类器,实现个人行为识别和群组行为识别。该算法在CAD(collective activity dataset)和Volleyball数据集上分别取得93.6%和93.8%平均识别率,并与其它算法比较验证了其有效性。