一种多模态信息融合的视频检索模型

针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。

基于视觉特征提取的压缩域在线视频摘要快速提取

为了在有限的时间内产生质量可接受的视频摘要以达到在线使用的要求,提出一种基于视觉特征提取(visual features extraction,VFE)的压缩域视频摘要快速提取方法。从每帧输入视频中提取视觉特征,采用零均值归一化交叉相关(zero mean normalized cross correlation,ZNCC)指标检测有相似内容的视频帧组,为每组选择代表性帧,运用2个量化直方图过滤所选择的帧,从而避免视频摘要中可能的冗余或无意义帧。在视频检索国际权威评测(TREC video retrieval evaluation,TRECVID)2007数据集上的实验结果表明,与基于聚类的高斯混合模型、基于熵的模糊C均值聚类和关键帧提取方法相比,该方法提取的视频摘要质量更高,且在时间和空间复杂度上具有明显优势,适合在线实时处理。

基于多模态信息挖掘融合的视频检索技术

基于内容的多媒体检索特别是视频检索,由于多媒体数据本身具有复杂的语义,所以极大地提高了检索的难度。算法着眼于视频本身挖掘出充分的资源信息并且将这些信息加以融合来提高视频检索的性能。基于这种思想,提出一种多模态视频检索模型以及相应的手动式搜索和交互式搜索的算法方案。搜索策略在TRECVID视频检索比赛中取得了不错的成绩。

基于内容的静态语义概念视频检索方法研究

本文针对互联网视频检索技术的发展,阐述了目前主流视频搜索引擎的技术现状,分析了互联网视频检索的关键技术,特别是对于视频特征的提取技术。本文的创新点是提出了一种通用的基于内容的静态语义视频检索方法,该方法可以弥补基于文本视频检索的有关不足,并且在TRECVID的视频概念检索数据的静态语义概念中得到验证,运行稳定。