一种基于图注意力的双分支社会关系识别方法

从图像中挖掘人物间的社会关系在刑侦、隐私防护等领域有重要的作用。现有的图建模方法通过创建人际关系图或构建知识图谱来学习人物关系,取得了良好的效果。但基于图卷积神经网络(GCN)的方法一定程度上忽略了不同特征对特定关系的不同程度的重要性。针对上述问题,提出了一种基于图注意力的双分支社会关系识别模型(GAT-DBSR)。第一个分支提取人物区域以及图像全局特征作为节点,核心是通过图注意力网络和门控机制去更新这些节点以学习人物关系的特征表示;第二个分支通过卷积神经网络提取场景特征来增强对人物关系的识别;最终对两个分支的特征进行融合并分类得到所有的社会关系。该模型在PISC数据集的细粒度关系识别任务上的mAP达到了74.4%,相比基线模型提高了1.2%。在PIPA数据集上的关系识别准确率也有一定的提升。实验结果表明了该模型具有更优越的效果。

视频社会关系识别的多尺度图推理模型

人类社会关系识别作为视频分类中的一个重要问题,逐渐成为计算机视觉领域的一个研究热点。由于视频信息较多,冗余信息过量,关键帧较少,因此如何准确的识别视频中的关键信息进行社会关系推理至关重要。为此,本文提出一种多尺度图推理模型来进行视频社会关系识别。首先我们提取视频中的时空特征和语义对象信息,获得丰富、鲁棒的社会关系表示。接着通过多尺度图卷积利用不同的感受野来进行时间推理,捕捉人物和语义对象间的交互。特别地,我们利用注意力机制来评估每个语义对象在不同场景的效果。在SRIV数据集上的实验结果表明,本文提出的方法优于大多数先进的方法。