基于语义的视频检索关键技术综述

随着大量视频的出现,视频内容检索是当今多媒体应用的一个重要研究方向。现有的视频检索技术多是基于低层特征,这些低层特征与高层语义概念相差较多,严重影响了视频内容检索系统的实用性。由于低层特征和高层语义概念间的语义鸿沟,如何从视频内容中提取人类思维中的语义概念,正成为目前视频内容检索中最具有挑战性的研究内容。文中介绍了语义视频检索出现的背景和国内外最新研究动态,分析了现有方法的优缺点,对现有的关键技术进行综述。

基于高层语义的视频检索研究

视频语义检索的研究是目前研究的热点之一。现有的视频检索系统技术多是基于底层特征的、非语义层次的检索。与人类思维中所能理解的高层语义概念相去甚远,这严重影响视频检索的实际效果。如何跨越底层特征和高层语义的鸿沟,用高层语义概念进行视频检索是当前研究的重点。通过对视频内容的语义理解、语义分析、语义提取的简要概述,试图构造一种视频语义检索模型。

基于概念的视频检索中概念语义匹配算法研究

为了实现基于概念视频检索中从底层内容到查询的语义贯通,应用基于WordNet词典的语义相似度算法,通过对三种不同原理的算法对比应用,得出基于信息量算法在本应用中更有优势,语义匹配可以提高检索精度,最优映射数目为2至3个,以及在目前发展水平下,映射到合适的概念比检测器精度更合适四个重要结论.

基于SVM的视频关键帧语义检索系统

为缩小"语义鸿沟",探讨了将支持向量机(SVM)应用于视频语义检索,提出了利用多变量支持向量机回归方法(SVR)进行语义自动标注,再将SVM分类应用于关键帧的语义检索的反馈中,改进了传统的SVM反馈方法。一方面记忆并累加样本集,优化负例选择,平衡正负样本数目,使训练集样本保持动态增长的平衡状态;另一方面,保存每次满意查询的SVM模型,使本次的反馈信息得以继续使用,从而建立SVM反馈的长期记忆机制。实验结果表明,与基于内容的SVM反馈检索相比,改进后的基于SVM反馈的视频语义关键帧检索的准确率和检索效率都有所提高。

基于隐含语义相关性分析的视频语义检索

提出了隐含语义相关性分析的处理方法,对描述视频内容结构的视频文档矩阵进行奇异值分解和变换,可得到表达可视特征与语义间隐含相关性的关系矩阵,用于视频检索。分析和实验表明,所提出的方法能保留视频内容结构中核心的语义元素,消除冗余的相关性干扰,还能够通过矩阵降维减少计算量,改善视频语义内容检索的效果。