视频语义上下文标签树及其结构化分析

视频内容具有非常强的时间关联和逻辑结构,镜头语义是视频内容理解的基本单元。从符合人类认识理解视频内容的角度来看,镜头语义之间隐含着时间上、语义上、结构上的多种上下文关联信息。合理地描述这种上下文信息至关重要。为此,首先采用一棵带有上下文标签的标签树作为镜头语义上下文层次结构的表征模型,以序列化的镜头语义序列为底层叶节点,以内节点的上下文标签表征镜头语义间的上下文关联,其树形结构与视频内容层次化表征形式一致,能为视频内容理解提供显著的信息增益。然后,着眼于解决镜头语义从其序列结构向标签树的层次结构转化,采用结构化支持向量机的分析方法,根据镜头语义序列和视频语义上下文标签树的联合特性构造了语义上下文结构化函数和损失函数,实现了镜头语义的结构化分析。实验结果表明,视频语义上下文标签树在时序性、层次性、领域性、逻辑性等方面具有良好的表征能力,而基于结构化支持向量机的结构化分析方法在镜头语义上下文分析的准确率、召回率及F1值表现良好。

视频语义结构化提取与标注的方法

视频本身具有一定的层次结构,不同层次会产生不同粒度的语义,而且不同粒度的语义之间会形成一定的层次结构。因此,视频语义提取和标注强调语义的结构化。为此,首先,以镜头为单位提取其语义,并组成镜头语义序列。随后,带有简单时序关系的镜头语义序列经过结构化支持向量机的分析将产生结构化的视频语义;最好,将连续且内容相关的镜头作为一个场景,以视频场景为基本单位利用决策树算法C4.5根据镜头的语义信息及镜头之间的结构信息完成场景语义的推理。