辅助足球视频切分的音频自动分类与分段

视频伴随音轨的自动分类与分段是辅助视频切分的一种有效手段。从足球视频的特征入手,归纳总结出足球视频中三类主要的音频类型,既而提出了基于HMM并且结合一定平滑策略的音频自动分类和分段的框架,在实现音频分类分段的同时完成了足球视频的切分。初步的实验结果验证了该方法的有效性和鲁棒性。

基于CNN-BiGRU的足球视频片段分类方法

基于深度学习的视频分类是体育视频研究的一个重要方向。针对目前视频事件类型识别率低的问题,本文提出了一种基于CNN-BiGRU网络的足球视频事件分类方法。该方法首先利用PySceneDetect工具的场景切换检测功能对完整足球视频进行镜头分割,在此基础上构建包含五类足球事件的数据集;随后通过实验对比,选择将目前主流的卷积神经网络VGG16与BiGRU结合构建分类模型。实验结果表明,CNN与RNN的结合,解决了视频中时间维度利用不足的问题,更有效的整合足球视频中时间维度和空间维度的动态信息,实现比传统技术更高的精度和更快的速度。目前该模型对足球视频数据集上的某单一事件识别率最高达到97.4%。

足球视频镜头分类方法

根据视频语义分析和视频摘要等应用对于视频数据结构化的需求,提出了一种针对足球视频的镜头分类方法。通过logo模板匹配检测并定位出视频中的慢镜头,对其余的正常比赛部分做镜头边界检测完成视频切分。基于分块的思想,对正常比赛镜头帧计算其各块的场地像素比率值作为特征,利用SVM分类器将正常比赛镜头分为远镜头、中镜头、球员特写或场外镜头3类。至此,整个视频流可以表示为结构化的四类镜头类型标示序列。实验结果表明,该方法在视频切分和镜头类型识别的准确性方面具有良好的效果。

基于动态贝叶斯网络的大词汇量连续语音识别和音素切分研究

提出一个新颖的单流多状态动态贝叶斯网络(Single stream Multi-states DynamicBayesian Network,SM-DBN)模型,以实现大词汇量连续语音识别和音素切分。该模型在Bilmes等人提出的单流动态贝叶斯网络(Single stream Dynamic Bayesian Network,Phone-shared,SS-DBN-P)模型(识别基元为词)基础上,增加了一个隐含的状态节点层,每个词由它的对应音素组成,而音素采用固定个数的状态描述,状态和观测向量直接连接。它的识别基元为音素,描述了音素的动态发音变化过程。大词汇量语音识别的实验结果表明:在纯净语音环境下,SM-DBN模型的识别率比HMM和SS-DBN-P模型的识别率分别提高了13.01%和35.2%,而音频流的音素切分正确率则分别提高了10%和44%。

访谈类短视频标题自动生成方案的研究

以我本人比较喜欢的访谈类节目为例,探讨了自动切分生成小视频并自动生成标题的方案。提出了一种在无字幕情况下,结合对话信息的语音识别和视频人脸标注技术实现对访谈类视频进行切分和标注的方案。根据实验结果,本算法可以有效得完成对实验视频的切分和标注,具有推广的潜力。基于S4VM算法,实现了对上述方案的推广方案。可以使用少量的标注样本,较为准确的完成对同样信息不足难于处理的视频的切分和标注,兼顾了准确率和查全率。提出了一种基于LDA为视频自动生成标题的方案,兼顾长视频准确率的情况下,对短视频自动生成标题的效果有了较大的提升。

现代舞台多屏幕文件播放及控管监系统存在的问题和解决方法

梳理现代舞台多屏幕文件播控系统存在的问题,提出舞台多屏幕系统自动安全监测和保障的解决方法,对视频切分系统和大屏幕播放系统的工作流程、系统功能、系统结构、监控手段等方面进行阐述,形成现代舞台多屏幕文件控管监系统设的计理念。