基于多模态子空间相关性传递的视频语义挖掘

在视频语义信息理解和挖掘中,充分利用图像、音频和文本等多模态媒质之间的交互关联是非常重要的研究方向.考虑到视频的多模态和时序关联共生特性,提出了一种基于多模态子空间相关性传递的语义概念检测方法来挖掘视频的语义信息.该方法对所提取视频镜头的多模态底层特征,根据共生数据嵌入(co-occurrence data embedding)和相似度融合(Si mFusion)进行多模态子空间相关性传递而得到镜头之间的相似度关系,接着通过局部不变投影(locality preserving projections)对原始数据进行降维以获得低维语义空间内的坐标,再利用标注信息训练分类模型,从而可对训练集外的测试数据进行语义概念检测,实现视频语义信息挖掘.实验表明该方法有较高的准确率.

基于Simfusion和本体的视频语义提取

目前大多数的视频语义概念提取研究没有考虑到视频多模态之间的关联共生特性,而在样本的标注方面采用自定义的概念进行标注,会影响语义概念提取的准确率。针对上述问题,提出结合Simfusion算法和用本体知识库标注样本的方法提取视频的语义概念,该方法根据镜头内容变化提取关键帧,在提取出镜头内容时,有效地利用镜头多模态之间的时序关联共生特性,同时运用本体知识库中的概念标注样本、训练分类器,弥补传统方法在标注样本时存在的主观、不规范等不足。实验结果表明,该方法在视频语义概念提取的研究中,有较高的准确度、可操作性强。

基于语义概念的多模态视频场景分割算法

为了更好地挖掘视频数据和分析视频内容,该文提出一种基于语义概念的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过相似度融合算法计算得到视频镜头间的相似度关系,将降维处理得到的低维语义空间坐标作为支持向量机的输入,构造出若干不同语义概念训练分类器,预测出每个关键帧的语义概念矢量,利用语义重叠镜头链方法对镜头进行聚类得到视频场景.实验结果表明,该方法能有效地检测视频语义概念和分割视频场景,MAP值、M值分别达到50%和83.4%.

基于视频动作语义关联的视频复杂动作场景检测

随着视频监控技术与互联网应用的普及,视频数据挖掘已成为当前大数据领域的重要研究内容之一。在视频数据挖掘中,对视频内容的理解需要从局部动作语义理解上升到更高层的复杂场景或事件语义理解。在对视频基本动作语义概念理解的基础上,提出一种基于基本动作语义概念关联的视频复杂动作场景检测方法。该方法首先记录视频动作语义概念的出现情形,对相应视频场景中的所有动作语义概念采用Aproiri算法进行关联规则挖掘,然后利用挖掘得到的动作语义概念关联规则,定义视频复杂动作场景检测分类准则,最后对测试视频采用该分类准则进行视频复杂动作场景概念检测。通过在典型数据集上的实验结果表明,该方法可以有效挖掘出视频中动作之间的关联关系,并实现对视频复杂动作场景概念的检测分类。