基于上下文感知空间坐标嵌入的时空图卷积网络

针对空间复杂的非欧几里得结构,图卷积网络不易通过欧氏距离构造输入图的问题,提出了上下文感知空间坐标嵌入的时空图卷积网络(STE-STA)模型,将空间背景和相关性明确地结合到模型中,并基于地理空间辅助任务学习、语义空间嵌入和动态图的时空注意力识别手势。首先从手骨架构造一个完全连接图,通过学习地理坐标的上下文感知向量编码,以及自我注意机制对节点特征和边缘进行自动学习;然后,与主任务并行预测数据中的空间自相关。实验结果表明,在DHG-14/28数据集上,STE-STA模型识别率分别达到92.40%与87.85%,均高于目前最优模型;在SHREC′17数据集上,比时空图卷积网络(ST-GCN)分别高0.60%和0.10%。

融合语义信息的视频摘要生成

任务旨在通过生成简短的视频片段来表示原视频的主要内容,针对现有方法缺乏对语义信息探索的问题,提出了一种融合语义信息的视频摘要生成模型,学习视频特征使其包含丰富的语义信息,进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数;视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间,以使2种特征相互靠近;视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离,以生成带有语义信息的视频摘要。测试时,在获取视频摘要的同时,该模型获得简短的文本摘要作为副产品,可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息,比现有先进方法取得了更好的性能,在这2个数据集上F-score指标分别提高了0.5%和1.6%。

度量学习改进语义自编码零样本分类算法

为改善零样本图像分类中相似度度量方法的鲁棒性,引入了一种用于零样本分类的度量学习方法.该方法由自编码构成,能在特征对齐后的语义嵌入空间中学习到最优的度量函数,用于计算测试样本特征和类标签的语义特征的相似度;然后利用近邻思想预测类别标签,进而避免产生不合适距离函数导致的分类错误.实验结果表明,与传统距离度量的算法相比,所提出的方法降低了识别错误率,在公开数据集AWA、CUB和Im Net-2上的分类准确率分别达到94.7%、63.7%和28.59%;同时表明了语义—视觉的映射方向比相反方向的识别准确率高出2.5%~10.1%.