基于多头软注意力图卷积网络的行人轨迹预测

行人间交互作用的复杂性给行人轨迹预测带来了挑战,且现有算法难以捕获行人间有意义的交互信息,不能直观地建模行人间的交互作用。针对以上问题,提出多头软注意力图卷积网络。首先利用多头软注意力(MS ATT)结合内卷网络Involution分别从空间图和时间图输入中提取稀疏空间和稀疏时间邻接矩阵,生成稀疏空间和稀疏时间有向图;然后,利用图卷积网络(GCN)从稀疏空间和稀疏时间有向图中学习交互作用与运动趋势特征;最后,将学习到的轨迹特征输入时间卷积网络(TCN)以预测双高斯分布参数,生成行人预测轨迹。在ETH和UCY数据集上的实验结果表明:相较于空时社交关系池化行人轨迹预测模型(SOPM),所提算法的平均位移误差(ADE)降低了2.78%;相较于稀疏图卷积网络(SGCN),所提算法的最终位移误差(FDE)降低了16.92%。

基于多步态特征融合的情感识别

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示:悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。

基于改进Inception结构的知识图谱嵌入模型

知识图谱嵌入(KGE)将实体和关系映射到低维连续向量空间中,以利用机器学习方法实现关系数据的应用,如知识分析、推理、补全等。以ConvE为代表将卷积神经网络(CNN)应用于知识图谱嵌入中,以捕捉实体和关系的交互信息,但其标准卷积捕捉特征交互信息能力不足,特征表达能力低下。针对特征交互能力不足问题,提出了一种改进的Inception结构,在此基础上构建一个知识图谱嵌入模型InceE。首先,该结构使用混合空洞卷积替代标准卷积,以提高特征交互信息捕捉能力;其次,使用残差网络结构,以减少特征信息丢失。实验使用基准数据集Kinship、FB15k、WN18验证InceE链接预测有效性。在Kinship、FB15k数据集上,相较于ArcE和QuatRE模型,InceE的Hit@1分别提升了1.6和1.5个百分点;在三个数据集上,与ConvE对比,InceE的Hit@1分别提升了6.3、20.8和1.0个百分点。实验结果表明InceE具有更强的特征交互信息捕捉能力。