Shot classification and replay detection for sports video summarization

Automated analysis of sports video summarization is challenging due to variations in cameras,replay speed,illumination conditions,editing effects,game structure,genre,etc.To address these challenges,we propose an effective video summarization framework based on shot classification and replay detection for field sports videos.Accurate shot classification is mandatory to better structure the input video for further processing,i.e.,key events or replay detection.Therefore,we present a lightweight convolutional neural network based method for shot classification.Then we analyze each shot for replay detection and specifically detect the successive batch of logo transition frames that identify the replay segments from the sports videos.For this purpose,we propose local octa-pattern features to represent video frames and train the extreme learning machine for classification as replay or non-replay frames.The proposed framework is robust to variations in cameras,replay speed,shot speed,illumination conditions,game structure,sports genre,broadcasters,logo designs and placement,frame transitions,and editing effects.The performance of our framework is evaluated on a dataset containing diverse YouTube sports videos of soccer,baseball,and cricket.Experimental results demonstrate that the proposed framework can reliably be used for shot classification and replay detection to summarize field sports videos.

基于ORB的镜头边界检测算法

场景中摄像机移动、对象运动、光亮突变等现象的存在导致现有镜头边界检测算法的顽健性不足,为了有效应对这些变化,提出一种基于ORB的镜头边界检测算法,算法通过计算图像帧之间ORB描述子的匹配程度进行镜头边界检测。在检测过程中使用特征点匹配数和匹配率对镜头边界的特点进行描述,并以相似度曲线描述图像帧之间的关系。实验结果表明,该算法可以有效解决上述问题造成的镜头误检、漏检,同时处理速度也获得了明显提升。

一种压缩域中的体育视频慢镜头探测方法

慢镜头探测是基于内容视频分析的一项重要技术。在介绍视频压缩的基本理论及MPEG-1视频压缩标准的基础上,对压缩域内的慢镜头探测进行了研究,提出了一种两阶段压缩域下的慢镜头探测方法。该探测方法的第一步是基于宏块类型信息的镜头探测,在镜头探测的基础上定义和计算镜头密度,探测可能的慢镜头出现位置;第二步是计算压缩域下连续帧间差,从候选慢镜头中探测慢镜头。实验结果显示,相对于已有的方法,该方法具有较快的探测速度和较高的准确率。

基于预处理的视频镜头边界检测算法

针对视频镜头边界检测的高时耗问题,提出了一种基于视频预处理的视频镜头边界检测（SBD）改进算法。通过使用自适应的阈值选择可能包含镜头边界的候选段,候选段内首帧与其余各帧进行相似度对比检测出镜头起始帧,并立即检测切变。若候选段中不包含切变,则进行渐变检测。调整候选段以保证镜头边界位于同一段内,段内其余各帧与起始帧进行相似度对比确定镜头结束帧。实验结果表明,所提算法镜头边界识别准确率能够达到90%以上,且与倒三角模式匹配方法相比能够节约时间15.6%~30.2%;与对渐变和切变分别检测的算法相比,该算法能够在满足识别率的基础上提升检测速度。

一种快速新闻视频标题字幕探测与定位方法

新闻视频字幕包含有丰富的语义信息,尤其是标题字幕,对新闻视频高层语义内容的分析和理解具有重要作用。利用标题字幕的时空分布特征,提出了一个新闻视频标题字幕的快速探测与定位方法。首先利用标题字幕持续多帧出现的特点降低所需处理的帧数,然后基于标题字幕的边缘特征和位置特征,标记帧图像的候选字幕块,对帧序列中的图像进行统计分析,探测出视频中标题字幕的位置及出现消失时间。实验结果表明所提方法简单有效,能够快速、鲁棒地探测并定位新闻视频中的标题字幕。

基于位置敏感哈希的网络视频重复检测

针对当前网络上存在着大量的重复或近似重复的视频问题,提出了一种基于镜头层比较和位置敏感哈希的快速准确的网络视频重复检测方法。通过视频间匹配的镜头数占查询视频总镜头数的比例来判断视频的相似性。除此之外,还利用著名的近似最近邻查找技术——LSH在镜头层来快速查找相似镜头,从而提高检测速度。通过将镜头作为检索单元,把数据库中所有视频的镜头放到一起构建一个新的数据集,将种子(查询)视频的每一个镜头作为一个查询请求,应用基于LSH的近似近邻检索方法,检索出与查询镜头相匹配的所有镜头,最后融合这些返回的结果,得到查询视频的重复或者近似重复的视频集。通过在包含12 790个视频的CC_WEB_VIDEO数据集上的实验结果表明,该方法取得了相比已有方法更好的检测性能。

一种有效的新闻视频主题字幕检测方法

提出一种新的有效的新闻视频主题字幕检测方法。利用像素的空间量化亮度值计算局部帧差变化,以便检测新闻视频字幕的出现帧和消失帧,并建立4条规则来进一步区分主题字幕和非主题字幕,然后对同一主题字幕所在帧利用多帧结合的方法生成两个候选的主题字幕文字检测帧,选择其中之一进行文字区域的定位和提取;最后用投影法分割字符,并对投影法产生的错误分割字符的常见情况,提出相应的解决方法。实验结果表明了该方法的有效性。

一种基于内容的镜头边界快速检测方法

镜头边界检测是视频索引研究领域中的一项重要技术和基础步骤,近年来受到广泛的研究,但大量的研究过度关注算法的检测精度(从查全、查准两方面考虑)而忽略了算法的运算成本.就目前已有的框架和算法进行改进,提出一种兼顾检测精度和运算速度的镜头边界检测方法.该方法引入预处理技术,在进行镜头边界检测前过滤掉视频中不包含镜头转换的视频序列,从而在不失精度的前提下提高算法运行速度.试验证明该方法在提高检测速度的同时可以有效地检测出视频序列中的突变、渐变边界,并且获得了令人满意的精度.

基于MPEG-7和消隐镜头检测的视频检索系统

视频是一种非格式化、时空并存、大数据量的媒体数据,传统的基于文本的信息查询技术已不能满足人们的要求,所以有关视频特征描述、查询、浏览及管理中存在的障碍亟需解决.本文在基于内容的视频检索系统中提出了一种消隐镜头的检测算法———基于局部特征时变一致性的检测算法.同时利用MPEG-7标准中描述符的结构定义描述视频检索系统的特征库,实验结果验证了系统的有效性.

一种基于宏块类型匹配的镜头切换检测算法

提出了一种新的M PEG压缩视频镜头切换检测算法。该方法通过分析切换点附近各帧的宏块类型特征,引入了一种新的“宏块类型匹配符”(M TM O),使用其在宏块级别上度量子图片组(SGOP)内部各帧之间的差异性,并结合一种自适应阈值选取技术,完成镜头切换检测。实验结果表明,所提算法适用于不同SGOP结构的M PEG视频序列,查全率达99%,准确率达95%。

一种改进的基于互信息量的镜头边界检测算法

镜头边界检测是基于内容视频检索的基础环节。由于视频类型与内容众多,目前镜头边界检测中存在阈值选取困难、查全率和查准率不高等问题。针对以上问题提出一种改进的基于互信息量的镜头边界检测算法,在字幕检测定位算法有效定位字幕区域的基础上,通过比较非字幕、非四角区域HSV空间直方图求取的相邻帧间互信息量的差异程度,实现镜头边界检测。实验表明,与当前应用最广泛且比较有效的双阈值算法相比,突变镜头检测综合性能平均提高12.4%,渐变镜头检测综合性能平均提高8.2%,通过自适应阈值的选取,有效解决了阈值依赖人工经验选取的问题;与当前已提出的基于互信息量的镜头边界检测算法相比,该算法降低了计算复杂度、几乎能检测所有的淡入淡出镜头边界,并使得镜头边界检测具有较高的查全率与查准率。

基于颜色直方图的视频突变镜头边界检测

首先概述了视频镜头边界检测的未来趋势、发展现状和行业背景。然后描述了视频镜头边界检测的基本概念,详述了其研究目的和意义,综述了视频突变镜头的当前行业内使用的方法。接着重点探究了基于颜色直方图的视频突变镜头边界检测的方法,阐述了其理论,设计并在工程实践中验证了镜头边界检测算法。最终对实验结果进行了深入分析。

闪光灯和标题条对新闻视频镜头检测影响的研究

新闻视频中特有地存在着大量闪光灯事件和后期视频编辑时加入的标题条事件,对镜头检测带来很大干扰。开发了一种建立在统计学基础上的稳健帧间差度量算法,克服标题条的突然出现和消失等局部剧烈运动对镜头切分的影响。根据闪光灯在视频流时序上的特征,提出通过对潜在切变位置前后视频内容的再检测来区分闪光灯事件和切变。该方法具有通用性和实时性,可以在视频自动分析或自动索引系统中得到实际应用。