面向教学评价的课堂视频镜头边界检测新方法

课堂视频镜头边界检测对教学评价具有重要意义。针对教学视频视觉信息变化不明显、镜头边界信息不足、检测结果不利于教学评价等问题,引入注意力机制,提出了基于视觉和文本特征描述学习的课堂视频镜头边界检测方法。首先,提出了层次视觉Transformer模型学习教学评价关注的屏幕、教师和学生等感兴趣区域的视觉特征。其次,提出了层次文本Transformer模型从屏幕和语音文本中学习教学评价关注的文本特征。最后,构建基于二值交叉熵的镜头分类和边界检测损失函数。在数据集CLShots上的实验结果表明,本文方法在准确率、召回率、F1分数和平均交并比等指标比当前先进的教学镜头检测方法SBLV分别提高了23.3%、22.4%、22%和35.7%,比通用领域深度学习方法TransNet V2分别提高了13.8%、14.5%、14.3%和21.3%。

基于ORB的镜头边界检测算法

场景中摄像机移动、对象运动、光亮突变等现象的存在导致现有镜头边界检测算法的顽健性不足,为了有效应对这些变化,提出一种基于ORB的镜头边界检测算法,算法通过计算图像帧之间ORB描述子的匹配程度进行镜头边界检测。在检测过程中使用特征点匹配数和匹配率对镜头边界的特点进行描述,并以相似度曲线描述图像帧之间的关系。实验结果表明,该算法可以有效解决上述问题造成的镜头误检、漏检,同时处理速度也获得了明显提升。

一种快速有效的视频镜头边界检测方法

本文在分析现有的镜头边界检测方法的基础上,提出了一种层次化镜头边界检测方法.首先我们利用小波变换对信号奇异点的检测能力和对噪声具有较强的鲁棒性,实现了镜头边界的预检测.然后我们通过对候选镜头边界的虚警分析,有效地降低了闪光灯和快速运动对镜头边界检测产生的影响,并实现了镜头突变检测.在渐变类型分类中,我们分别实现了淡入淡出、扫换和溶解等三种重要镜头边界类型的检测.实验结果表明,本文方法能够快速、有效地实现视频镜头边界类型的检测,对运动和光线变化有较强的鲁棒性.

一种新的自适应镜头边界检测算法

针对镜头边界检测中存在的检测效果和检测阈值依赖人工经验的问题,提出了一种新的自适应镜头边界检测算法.该算法以视频帧窗口中亮度帧差到帧差均值的距离作为切变检测特征,根据该距离值的变化程度自动选取切变最优化阈值;以视频帧序列中的颜色帧差为渐变检测特征,对该帧差进行数量级量化,直接利用量化结果判定渐变,实现了镜头检测的自适应.实验结果表明,该算法对切变的查准率和查全率分别为96.74%和97.41%,对渐变的查准率和查全率分别为92.34%和89.67%,对于不同类型的视频检测效果稳定.

基于模糊粗糙集的新闻视频镜头边界检测方法

镜头边界检测是实现基于内容的视频检索的一个重要步骤.为了将视频分割成镜头,现有的方法大都是首先提取大量的特征然后构造相异性测度函数.然而,太多的特征就会降低算法的效率.因此,有必要对镜头边界检测的规则进行特征约简.本文将粗糙集中的属性重要性和模糊粗糙集中的分类精度相结合定义了模糊粗糙算子,并构造了相异度检测函数.最后给出了镜头边界检测的一般性规则.由于本文检测方案的自适应性,因此适合于各种类型的新闻视频.用来自中央电视台的3个多小时的新闻视频所做的镜头边界检测实验获得了95.4%的查全率和96.1%的准确率.

一种新的视频镜头边界检测及关键帧提取方法

根据视频邻域片段变化的特点提出了镜头边界系数模型,镜头边界系数具有良好的抗噪能力,且对视频帧的时域变化有较好的描述能力,可用于镜头边界检测与关键帧提取.它可以单独检测镜头边界,也可以与传统的基于帧差的镜头边界检测方法相结合检测镜头边界.在提取关键帧时,根据镜头边界系数的分布,自适应地确定镜头内的关键帧数,用非极大值抑制方法与基于镜头边界系数的优先级方法确定关键帧的位置.实验结果表明,该方法在镜头边界检测性能上要优于已有的基于帧差的镜头边界检测方法,提取的关键帧对镜头的视觉内容具有较好的表达能力,且可在视频回放时实时执行.

基于可变窗的镜头边界检测算法

为了解决传统镜头边界检测算法的漏检和误检问题,对判决方法进行研究,提出了可变窗概念.当一个镜头中画面变化激烈时,减少窗口跨度;在平缓画面的镜头通过渐变过渡到另一个镜头时,增加窗口跨度.该算法统计各帧的分块直方图作为特征,结合可变窗判别机制,对非压缩域中的视频帧进行镜头边界检测.实验证明,该算法提高了整体镜头查全率,同时也降低了由于镜头画面激烈而发生的误检率.

基于互信息量的镜头边界检测算法

为快速稳健地检测镜头边界,提出基于互信息量的镜头边界检测算法。采用基于HSV空间不均匀分块直方图求取的帧间互信息量作为视频帧间差异度量,结合相应的阈值策略与时域窗策略,实现对镜头的切变,以及常见渐变与计算机特效技术制作的镜头变换检测。对包括广告、综艺节目、新闻等多类视频数据进行实验,结果证明,该算法对切变检测的综合效果比经典基于直方图的双阈值法平均提高11.9%,渐变检测的综合效果平均提高7.6%,能有效减弱摄像机运动与光照变化对镜头检测的影响,对不同类型视频镜头检测效果稳定,具有较高的查全率与查准率。

基于二次帧差与窗口最大值的镜头边界检测方法

针对突变和渐变的特点,提出了一种适合突变检测的二次帧差法和适合渐变检测的窗口最大值法.二次帧差法通过计算相邻帧差之间的二次帧差,有效地突出了突变的特征,而窗口最大值法通过计算非相邻帧之间的帧差有效地突出了渐变的特征.利用窗口最大值准确地找到了渐变的中心位置,两种方法的有机结合可有效地检测出几乎所有的突变和渐变.该方法不用设置全局阈值,适应性强,实验结果表明了该算法的有效性.

一种自动选取阈值的视频镜头边界检测算法

镜头边界检测是实现基于内容的视频检索的一个重要步骤 .文中介绍了现有的镜头边界检测的基本方法 ,并针对其不足提出了一种自动选取阈值的、综合考虑颜色和空间特征的镜头边界检测算法 .该方法能较好地检测出镜头突变和物体运动以及光线变化等情况 ,对渐变镜头也能达到检测的目的 .

基于粗糙集和模糊聚类的新闻视频镜头边界检测方法

为了将视频分割成镜头,目前的方法都是提取某些特征然后构造不同的相异性函数。然而,太多的特征就会降低镜头分割算法的效率。因此,有必要对每一个镜头检测决策进行特征约简。基于此,提出了基于粗糙集和模糊聚类的分类方法并得到了相应的决策规则。针对新闻场景的特殊性,将镜头分割成突变过渡、渐变过渡以及无场景变化3类。用超过2个小时的新闻视频所做的实验获得了96.5%的查全率和97.9%的准确率。

压缩域中基于支持向量机的镜头边界检测算法

针对如何进一步提高镜头边界检测精度问题,本文提出了一个基于支持向量机SVM(Support Vector Machine)的镜头边界检测算法.该算法利用视频压缩域中特征,如宏块类型,帧间对应宏块DC系数差和帧类型将视频帧分为发生切变的帧、发生渐变的帧和非镜头变换帧三类,从而实现视频的镜头分割.实验结果表明该算法对摄像机的运动和大物体的进入具有很好的鲁棒性,且没有大多数算法中阈值选择的困难,将我们的算法与2001 TREC评估中最佳指标进行了比较,在综合度量查全率和查准率的性能指标F1上,比2001 TREC评估中最佳指标高约8%.

视频分镜头边界检测的一种新方法

定义了用于渐变边界检测的累积帧差,提出了一种基于高斯模型的镜头边界检测新方法,对突变边界和渐变边界分别采用不同参数的高斯模型,实现了阈值的自适应选择,克服了现有的双阈值比较法中下边界阈值难以自适应设定的困难.初步实验结果表明该方法能准确地检测突变和渐变边界.

一种新的镜头边界检测和静态视频摘要提取方法

提出一种新的融合图像分割和注意力模型的静态视频摘要自动生成方法.该方法将视频中的每帧图像分割成块,分别计算连续2帧对应块的匹配距离;在此基础之上,根据各个块不同的重要性用线性融合的方法求出2帧之间的匹配距离;然后通过计算匹配距离的期望和标准差自动地求出阈值,进而检测出镜头边缘;最后根据每个镜头的匹配距离,提取出静态视频摘要.仿真结果表明:与同类方法相比,该方法能够快速高效地检测出各种镜头边界,提取的静态视频摘要能够有效反映视频的内容.

一种基于SVD的镜头边界检测方法

为了有效地进行视频镜头边界检测,在简要介绍了现有的镜头边界检测基本方法的基础上提出了基于SVD的镜头边界检测方法。该方法通过特征提取来构造视频特征矩阵,经过SVD变换得到特征值矩阵,然后将特征值矩阵映射到向量空间,最后通过分析向量间的夹角来判断镜头的变化。实验结果表明,在镜头边界检测性能上优于已有的基于帧差的双阈值镜头边界检测方法。

采用多特征融合的镜头边界检测方法

提出了一种特征融合的镜头边界检测方法。HSV色彩直方图进行镜头边界检测是一种常用、有效的方法,该文融合了视频帧的HSV直方图特征、边缘特征和纹理特征,计算出不连续帧。最后,采用Kohonen网络自组织网络对不连续帧值进行聚类得到镜头边界。实验结果表明该方法不仅是可行和有效的,也解决了需要阈值的问题。

基于多种视频特征的镜头边界检测算法

提出一种基于多种视频特征的自适应镜头边界检测算法。利用滑动窗口将当前帧与其前后相邻多帧的视频特征进行比较,形成2组相似向量,利用Fisher判别式与运动矢量形成的自适应阈值实现突变检测。提取帧的亮度方差作为特征,通过有限状态机实现渐变检测。对大量TRECVID视频进行实验,结果表明该算法对突变和渐变都具有良好的检测性能,对运动及闪光具有较好的鲁棒性。

基于视觉注意特征和SVM的镜头边界检测算法

镜头边界检测是视频分析的基础。借鉴心理学中有关视觉注意的研究成果,提出了一种采用符合人类视觉注意的特征,并利用支持矢量机进行视频镜头边界检测的算法。通过对TRECVID2007数据库进行实验的结果表明,该算法在查全率和查准率方面都获得了较好的性能。

一种二级级联分类的镜头边界检测算法

在分析镜头边界类型、检测方法的基础上,根据镜头的连续性特征,将一个二级级联分类器应用于镜头边界检测.第一级分类器根据视频帧灰度方差特征,将无明显变化的视频序列从原始视频序列中分离出去,得到一个新的视频序列;第二级分类器在新视频序列的基础上,提取视频图像的像素对差值、HSV空间颜色直方图的各分量差值以及边缘直方图X,Y分量差值等视频特征,并采用支持向量机多分类策略进行镜头边界类型的检测.实验结果表明,与积聚算法及SVM-TMRA算法相比,文中算法的综合性能更高且具有较高的实时性.

基于因果的自适应双阈值镜头边界检测算法

将因果检测法与双阈值法相结合,提出了一种基于因果的自适应双阈值镜头边界检测算法。首先,利用相邻两帧之间的帧间差异值对突变和渐变进行预检;然后,加入渐变检测容忍度、边缘和非相邻帧间差异值等信息,对初检结果进行复检,排除闪光灯、剧烈物体运动、淡入、淡出以及溶解等造成的误检和漏检,以提高整体检测效果。实验结果表明,与传统的双阈值镜头检测方法相比,本方法可获得更好的检测性能。