基于音视频特征和文字信息自动分段新闻故事

提出了一种新的基于音视频特征和文字信息自动分段新闻故事的方法。其基本思想是先对新闻视频进行镜头边界检测;其次,通过文字检测算法检测包含有主题字幕文本的帧来获得新闻故事分段的线索;接着用短时能量和短时平均过零率(ZCR)来检测新闻视频中存在的静音片段;最后,综合音视频特征和文字信息实现故事自动分段。在包含135,400帧的实验素材上获得了85.8%的准确率和97.5%的查全率,实验结果证明该方法是十分有效的。

基于音视频特征的新闻条目自动分割

Automatic segmentation of news items in a MPEG-2 stream is a significant research topic for implementing an antomatic cataloging system of news video. This paper presents an approach which employes audio and video feature information to automatically segment news items. Combining the analysis techniques of audio and video can overcome the weakness of the approach which only uses the image analysis techniques. This combination makes our appoach more widely adaptable to variable existence situations of news items. The proposed approach detects silence clips in accompanying audio,and integrates with shot segmentation results ,as well as anchor shot detection results ,to determine boundaries between two news items. Experimental results show that the integration of audio and video features is an effective approach to solve the problem of automatic news items segmentation.

基于视音互补语义清晰化的隐私视频动作识别方法

视频隐私保护是当前社会面临的重要挑战之一,对视频进行模糊处理是保护人们隐私权益的重要手段.由于模糊视频天然缺失视觉模态的信息,主流的视频动作识别算法无法取得令人满意的效果.模糊视频作为多模态介质不仅仅只有视觉模态信息,同时,也含有丰富的音频模态信息,从人类的认知角度而言,音频也是获取信息的重要来源.本文提出一种基于多模态融合的隐私视频动作识别方法,在保证不侵犯使用者隐私的前提下进行人类动作行为识别.具体来说,使用音频-视觉特征融合模块将音频模态特征图融入到视觉模态中,充分融合音视频模态的深层语义信息.除此之外,模型还引入清晰视频帧图像作为标签,在模型训练阶段监督动作识别网络的参数更新,为隐私视频动作识别网络提供清晰的语义信息.在多组隐私行为数据集上,通过大量消融和对比实验验证了所提方法的有效性.

基于音/视频特征的足球视频体育事件交互式检索方法

本文提出了一种交互式足球体育视频事件检索方法。在该方法中,首先从音频和视频中提取四种类型的特征,计算出它们的均值和标准差,并把这八个数据编码成一个染色体,建立与视频文件的索引。然后,利用交互式遗传算法实现足球体育视频事件的检索。首先,系统从数据库中随机地选取N个视频文件供用户观看与选择;然后,系统根据用户所选视频提取相应的染色体,并对这些染色体进行重组操作得到目标染色体;其次,把目标染色体与数据库中的所有染色体进行比较,利用欧式距离计算出它们的相似度,从中选取N个最相似的染色体对应的视频为下一代视频;最后,不断迭代上面的过程,直到得到用户想要的视频。通过对包含有400个视频事件的数据库的实验,证明该方法能够有效地检索足球视频数据库中的视频文件,准确率达到89%。

多维语义线索和HCRF模型的足球视频精彩事件检测

足球视频精彩事件检测一直是视频语义分析领域研究的热点和难点.文中利用隐条件随机场(hidden conditional random field,HCRF)模型在表达和识别语义事件方面的强大功能,提出一种多维语义线索和HCRF的角球、点球和红黄牌精彩事件检测框架.首先通过对精彩事件视频结构语义进行分析,定义了10种多维语义线索,以准确描述精彩事件富含的语义信息;然后对视频片段进行物理镜头分割,对镜头关键帧提取多维语义线索得到特征矢量,再将测试视频片段中所有镜头的特征矢量共同构成观察序列;最后在小规模训练样本的情况下将观察序列作为HCRF模型的输入,建立了精彩事件检测的HCRF模型.文中基于音视频底层特征、多维语义线索及精彩语义事件之间的映射关系,从视频结构语义的多个维度挖掘了精彩事件的内在规律,准确地实现了精彩事件的检测.实验结果表明了该框架的有效性.

一种新的视频兴奋内容建模和视频摘要提取方法

本文对基于运动矢量的运动量的建模方法进行了修正,同时引入语速这种音频特征,在综合了镜头变换率和声音能量两个特征基础之上,提出了一种新的兴奋建模和视频摘要统一框架。在该框架之内,首先对视频的兴奋内容进行建模得到兴奋时间曲线,之后,依据曲线中的极大值和极小值提取关键帧和精彩片断两种形式的视频摘要。实验证明本文建模方法是有效的,提取的视频摘要能够有效表示视频的内容,且具有良好的面向用户性和自适应性。提取的关键帧的有效性达到78%,足球片断的精彩有效性和排序的有效性分别达到81%和82%,篮球片断的精彩有效性和排序的有效性分别达到75%和76%。