基于核心人物和交互关系建模的群组行为识别

提出了一种层级关系网络与关键人物检测相结合的群组行为识别方法。首先从空间CNN和时间CNN提取每个群组成员的时空特征,经LSTM后进一步利用视频的长时序上下文关系,形成组群的时空级联特征;然后利用层级关系网络捕获群组成员交互关系,在每个关系层中构建无向关系图,通过共享多层感知机来捕获交互关系图中边的特征(即成员间的交互关系),并将节点所有边的特征求和后作为此节点新的特征;为了获得高阶的层级交互关系表征,构建了多个关系层,并学习每个人的层级关系表征。同时,在关键人物检测网络,定义运动特征最强的一个成员为核心人物,依据与核心人物的空间距离和运动特征相关性,定义其他关键人物;再将所有关键人物的特征输入到Bi-LSTM,学习关键人物之间隐含的交互关系。为了进一步优化识别结果,将通过softmax层获得的群组识别候选标签的概率值输入CRF层,利用二元势函数鼓励外观特征和运动特征相近的群组分配相同标签,纠正由于学习偏差引起的错误,提高了群组识别精度;最后,在公开标准数据集Collective Activity Dataset和Volleyball Database的平均识别率达到93.9%和91.2%,实验对比相同主干网络的最新方法,证明了本方法的有效性。