基于张量表示的直推式多模态视频语义概念检测

提出了一种基于高阶张量表示的视频语义分析与理解框架.在此框架中,视频镜头首先被表示成由视频中所包含的文本、视觉和听觉等多模态数据构成的三阶张量;其次,基于此三阶张量表达及视频的时序关联共生特性设计了一种子空间嵌入降维方法,称为张量镜头;由于直推式学习从已知样本出发能对特定的未知样本进行学习和识别.最后在这个框架中提出了一种基于张量镜头的直推式支持张量机算法,它不仅保持了张量镜头所在的流形空间的本征结构,而且能够将训练集合外数据直接映射到流形子空间,同时充分利用未标记样本改善分类器的学习性能.实验结果表明,该方法能够有效地进行视频镜头的语义概念检测.

基于语义概念的多模态视频场景分割算法

为了更好地挖掘视频数据和分析视频内容,该文提出一种基于语义概念的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过相似度融合算法计算得到视频镜头间的相似度关系,将降维处理得到的低维语义空间坐标作为支持向量机的输入,构造出若干不同语义概念训练分类器,预测出每个关键帧的语义概念矢量,利用语义重叠镜头链方法对镜头进行聚类得到视频场景.实验结果表明,该方法能有效地检测视频语义概念和分割视频场景,MAP值、M值分别达到50%和83.4%.

基于镜头竞争力的多模态视频场景分割算法

为了能快速、有效地进行视频场景分割,论文提出一种基于镜头竞争力的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过对视频物理特征的提取、融合计算出镜头间相似度,结合镜头竞争力的判定思想分割出视频场景。实验结果表明,该算法能较为高效地进行视频场景分割,查全率和查准率可达82.1%和86.7%。