基于多模态子空间相关性传递的视频语义挖掘

在视频语义信息理解和挖掘中,充分利用图像、音频和文本等多模态媒质之间的交互关联是非常重要的研究方向.考虑到视频的多模态和时序关联共生特性,提出了一种基于多模态子空间相关性传递的语义概念检测方法来挖掘视频的语义信息.该方法对所提取视频镜头的多模态底层特征,根据共生数据嵌入(co-occurrence data embedding)和相似度融合(Si mFusion)进行多模态子空间相关性传递而得到镜头之间的相似度关系,接着通过局部不变投影(locality preserving projections)对原始数据进行降维以获得低维语义空间内的坐标,再利用标注信息训练分类模型,从而可对训练集外的测试数据进行语义概念检测,实现视频语义信息挖掘.实验表明该方法有较高的准确率.

基于Simfusion和本体的视频语义提取

目前大多数的视频语义概念提取研究没有考虑到视频多模态之间的关联共生特性,而在样本的标注方面采用自定义的概念进行标注,会影响语义概念提取的准确率。针对上述问题,提出结合Simfusion算法和用本体知识库标注样本的方法提取视频的语义概念,该方法根据镜头内容变化提取关键帧,在提取出镜头内容时,有效地利用镜头多模态之间的时序关联共生特性,同时运用本体知识库中的概念标注样本、训练分类器,弥补传统方法在标注样本时存在的主观、不规范等不足。实验结果表明,该方法在视频语义概念提取的研究中,有较高的准确度、可操作性强。

基于语义概念的多模态视频场景分割算法

为了更好地挖掘视频数据和分析视频内容,该文提出一种基于语义概念的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过相似度融合算法计算得到视频镜头间的相似度关系,将降维处理得到的低维语义空间坐标作为支持向量机的输入,构造出若干不同语义概念训练分类器,预测出每个关键帧的语义概念矢量,利用语义重叠镜头链方法对镜头进行聚类得到视频场景.实验结果表明,该方法能有效地检测视频语义概念和分割视频场景,MAP值、M值分别达到50%和83.4%.

基于镜头竞争力的多模态视频场景分割算法

为了能快速、有效地进行视频场景分割,论文提出一种基于镜头竞争力的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过对视频物理特征的提取、融合计算出镜头间相似度,结合镜头竞争力的判定思想分割出视频场景。实验结果表明,该算法能较为高效地进行视频场景分割,查全率和查准率可达82.1%和86.7%。