一种显式语义结构的视频时序定位方法

视频时序定位是视频检索的关键技术,针对现有方法使用查询语句的整体特征进行跨模态检索,忽略细粒度语义结构的因素,准确度较低的问题,提出一种显式语义结构驱动的视频时序定位方法:显式地构造一个语义角色树,采用层次化的文本特征描述细粒度文本语义信息;设计上下文感知注意力模块,利用文本语义结构来促进视觉结构的学习;通过一个多级融合策略来自适应地获取视觉文本语义的匹配信息,定位与查询语句最匹配的视频片段.在Charades-STA和ActivityNet Captions数据集上验证了方法的优势.