面向手语识别的视频关键帧提取和优化算法

基于计算机视觉的手语识别技术可以为聋校的双语教学带来很大的便利,而手语识别技术的难点之一在于视频关键帧的提取。根据手语视频关键帧的特点和手语者的手语习惯,提出了一种面向手语识别的视频关键帧提取和优化算法。首先利用卷积自编码器提取视频帧的深度特征,对其进行K-means聚类,在每类视频帧中采用清晰度筛选取出最清晰的视频帧作为初次提取的关键帧;然后利用点密度方法对初次提取的关键帧进行二次优化,得到最终提取的关键帧进行手语识别。实验结果表明,本文算法能大量消除冗余帧,并能提高手语识别的准确率和效率。

基于GEP自动聚类算法的视频关键帧提取方法

视频关键帧提取技术是视频数据处理研究领域的热点研究问题。该文针对现有的镜头边界检测技术不能有效提取关键帧的不足,提出一种基于小波边缘检测算子的自适应分块视频镜头边界检测算法。通过检测视频镜头变化,得到分割的镜头,然后对视频帧提取图像特征,并利用基因表达式编程(GEP)的自动聚类功能对视频帧进行聚类,提出并实现了基于GEP自动聚类的视频关键帧提取算法(KFC-GEP)。实验证明该方法能较好的提取视频序列的关键帧。

基于决策树的多媒体视频关键帧实时提取方法研究

多媒体视频关键帧的提取影响视频的整体效果,为便于用户更加快捷浏览、检索感兴趣视频,提出基于决策树的多媒体视频关键帧实时提取方法.利用信息增益比率确定多媒体视频中的关键帧特征,通过ID3决策树确定关键帧特征选取的准则,将被评价为最高信息增益比率的关键帧点当作最新节点进行子树繁衍,采用聚类算法离散化处理ID3决策树的连续属性值,并将选择的关键帧特征输入优化后的ID3决策树,进行关键帧特征分类,实时提取多媒体视频关键帧.实验结果表明:该方法可有效提取代表性视频关键帧,在各类攻击下特征提取准确率始终高于96.9%,并能够准确提取海量多媒体视频关键帧.

基于数字媒体的视频关键帧丢失同步还原仿真

针对传统视频关键帧丢失同步还原方法保真度较低的问题,提出一种基于数字媒体的视频关键帧丢失同步还原方法,利用多特征提取算法对丢失视频关键帧进行提取,完成关键帧的提取后,利用数字媒体视频通信协议对丢失视频关键帧的数据包进行分包处理,并对丢失视频关键帧的数据包进行解码处理,通过AVI文件实现视频关键帧的丢失同步还原。为了验证基于数字媒体的视频关键帧丢失同步还原方法的保真度较高,将上述方法与基于空间域与时间域的视频关键帧丢失同步还原方法、基于外边界匹配算法的视频关键帧丢失同步还原方法、基于双线性插值算法的视频关键帧丢失同步还原方法进行对比实验,实验结果证明,基于数字媒体的视频关键帧丢失同步还原方法的保真度最高,说明上述方法更适用于视频关键帧的丢失同步还原。

基于互信息熵和NetVLAD的视频关键帧提取方法

针对现有关键帧提取方法时间复杂度高、漏检率大、忽略视频语义信息等问题,提出一种基于互信息熵和局部聚合描述符向量网络(vector of local aggregated descriptors net,NetVLAD)的视频关键帧提取方法。首先计算视频帧互信息熵,将视频划分为视频子集;然后通过NetVLAD进行视频帧的特征提取与聚类,根据最近邻匹配算法计算帧间距离,提取候选关键帧;最后通过感知哈希减少冗余度,得到关键帧集合。基于UAV-123数据集进行了实验分析,结果表明,该方法高鲁棒地提高了关键帧的提取效率,保证了高保真度的同时降低了关键帧的冗余。

飞行机器人电塔巡检视频关键帧提取预处理

针对架空输电线路飞行机器人巡检视频的关键帧提取问题,提出了一种地理信息、导航数据、航拍数据和相机参数相结合的关键帧提取预处理方法.首先通过将地理坐标系中的坐标转化到空间直角坐标系中,对地理信息进行处理;其次通过空间直角坐标系中的坐标转化成图像坐标系中的坐标,确定巡检目标在图像中的位置;最后通过判断巡检目标在图像坐标系下的位置以确定图像是否可以作为关键帧的候选帧.实验结果表明:提出的预处理方法在不降低从视频中提取出来的关键帧准确度前提下,减少了图像层面上的计算量,缩短了关键帧提取时间.

深度学习视角下视频关键帧提取与视频检索研究

随着互联网技术的高速发展,互联网中的视频数据已经成为其中的重要数据类型,且在安全监控及视频网站当中得到了十分广泛的应用。随着互联网的逐渐普及,视频搜索也有了更大的意义,因此对视频检索技术的研究则是非常重要的。视频关键帧提取则主要体现视频中各个镜头的显著特征,通过视频关键帧提取能够有效减少视频检索所需要花费的时间,并能够增强视频检索的精确度。因此,对于视频关键帧提取与视频检索进行研究是非常有意义的。

非匀速条件下车辆底盘超近距成像测量方法

针对车辆非匀速条件下轴距视觉测量及轴型识别所面临的超近距、大幅面、低畸变成像及视觉测量问题,提出一种适用于非匀速条件下的车辆底盘结构超近距成像测量方法。利用鱼眼相机采集运动车辆底盘的超广角图像序列,通过一种改进的多采样点圆拟合方法实现图像感兴趣区域的提取。建立三维等距成像模型对鱼眼图像进行畸变校正。针对车辆非匀速行驶带来的视频帧重叠度差异,采用基于图像内容的重叠度分析技术,实现了多步分层的关键帧提取,有效避免了车速不稳定对车辆底盘结构测量的影响。现场实验结果表明:该方法可在非匀速条件下,以20~50 cm的成像距离获得清晰、低畸变的完整车辆底盘图像,车辆轴距测量误差均值约为5%。

基于ORB和灰度序特征的视频拷贝检测

针对目前数字视频版权保护问题,提出一种基于ORB(oriented FAST and rotated BRIEF)二值特征描述符局部特征和灰度序全局特征的视频拷贝检测方法。通过比较相邻视频帧灰度直方图的巴氏距离对视频进行镜头分割,将镜头的第一帧作为视频关键帧,提取其灰度序特征和ORB特征,利用灰度序特征对查询视频进行初次匹配,去除部分干扰视频,使用ORB特征对灰度序检测结果再次匹配,得到视频拷贝检测结果。实验结果表明,该方法在视频拷贝检测方面具有可行性和有效性,并且准确率和召回率均可达80%以上。

一种基于视频的多目标追踪与分割算法

基于视觉的多目标跟踪由于在智能监控、动作与行为分析、自动驾驶、虚拟现实和娱乐互动等领域都有重要的应用,近年来越来越多地成为计算机视觉领域的研究重点。并且在电力设施中对人员的活动需要实时追踪,有助于安全防护。对此,针对视频中的多目标检测与分割问题,在原有Mask-RCNN算法的基础上做了改进,引入光流分析法和视频关键帧提取技术,在不改变检测精度的同时大幅度缩短对每一帧的检测时间。实验结果表明,相较于原有Mask-RCNN算法,改进的Mask-RCNN算法大幅缩短了检测时间,对比于其他的目标追踪算法,改进的Mask-RCNN算法增强了对视频中的对象实例识别和分割的效果,分割精度有了显著提升,达到了视频里的多目标追踪的需求,并且对提高多目标场景下的目标跟踪水平具有一定的实际意义。

融合语义信息的视频摘要生成

任务旨在通过生成简短的视频片段来表示原视频的主要内容,针对现有方法缺乏对语义信息探索的问题,提出了一种融合语义信息的视频摘要生成模型,学习视频特征使其包含丰富的语义信息,进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数;视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间,以使2种特征相互靠近;视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离,以生成带有语义信息的视频摘要。测试时,在获取视频摘要的同时,该模型获得简短的文本摘要作为副产品,可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息,比现有先进方法取得了更好的性能,在这2个数据集上F-score指标分别提高了0.5%和1.6%。

UMVSP:一个基于3G和Red5的通用移动视频订阅平台

第三代移动通信技术(3rd-generation,3G)的成熟和推广带来移动应用的巨大需求,其中,移动视频的发布与订阅受到越来越多的关注。本文在3G技术背景下,提出一种面向移动智能终端的通用视频订阅平台(UniversalMobileVideoSubscriptionPlatform,UMVSP),研究和设计以Red5流媒体服务器为核心的系统架构。提出UMVSP的参考模型和参考构架设计,实现以智能手机终端为视频采集客户端与流媒体服务器的通信流程,并提出一种视频关键帧的生成算法。本文的研究内容对移动视频应用有一定的技术指导作用。

关键语义区域链提取的视频人体行为识别

目的视频中的人体行为识别技术对智能安防、人机协作和助老助残等领域的智能化起着积极的促进作用,具有广泛的应用前景。但是,现有的识别方法在人体行为时空特征的有效利用方面仍存在问题,识别准确率仍有待提高。为此,本文提出一种在空间域使用深度学习网络提取人体行为关键语义信息并在时间域串联分析从而准确识别视频中人体行为的方法。方法根据视频图像内容,剔除人体行为重复及冗余信息,提取最能表达人体行为变化的关键帧。设计并构造深度学习网络,对图像语义信息进行分析,提取表达重要语义信息的图像关键语义区域,有效描述人体行为的空间信息。使用孪生神经网络计算视频帧间关键语义区域的相关性,将语义信息相似的区域串联为关键语义区域链,将关键语义区域链的深度学习特征计算并融合为表达视频中人体行为的特征,训练分类器实现人体行为识别。结果使用具有挑战性的人体行为识别数据集UCF(University of Central Florida)50对本文方法进行验证,得到的人体行为识别准确率为94.3%,与现有方法相比有显著提高。有效性验证实验表明,本文提出的视频中关键语义区域计算和帧间关键语义区域相关性计算方法能够有效提高人体行为识别的准确率。结论实验结果表明,本文提出的人体行为识别方法能够有效利用视频中人体行为的时空信息,显著提高人体行为识别准确率。

基于运动恢复结构的多株立木因子测量方法

【目的】提出基于运动恢复结构的多株立木因子测量方法,以解决目前基于三维点云的立木因子测量方法获取立木树高和胸径存在效率低或成本高的问题。【方法】(1)使用智能手机环绕包含多株立木的场景拍摄一段视频,并采用固定帧采样法和差异值哈希算法自动提取立木视频中的关键帧图像,然后,基于运动恢复结构(structure from motion,SfM)算法处理立木关键帧图像,从而获取立木场景的原始三维点云;(2)在对原始三维点云进行预处理及初步分割后,运用条件欧几里得聚类算法对多株立木三维点云进行分割,以提取单株立木三维点云;(3)对立木三维点云使用最值遍历法和椭圆拟合法实现立木树高和胸径的自动测量。【结果】与真实值相比,本研究方法测得的树高、胸径的平均相对误差分别为1.96%、3.19%,均方根误差分别为0.133 3 m、0.533 7 cm,相关系数分别为0.987 9、0.962 1。【结论】该方法具有较高的树高和胸径测量精度,提供了一种便捷、低成本的多株立木因子三维测量方法。图6表1参27。

数字影视制作应用数字水印技术版权保护的方法

文章介绍了在数字影视制作过程中应用数字水印技术用以版权保护的方法,首先针对国内影视版权保护的发展现状进行介绍,分析了影视版权保护的需求,选取数字水印技术作为影视版权保护的核心技术,阐述了数字影视制作过程中应用数字水印技术的思路和实现方法。