运动法自动分割MPEG-4帧视频对象(VOP)

本文提出运动法实现MPEG-4帧视频对象（VOP）的自动分割。该方法的基本思想是利用前景的局部运动与背景的全局运动的差别检测出相应独立运动部件。针对独立运动部件（IMC）运动快慢的不同,该方法分解为适合较慢运动IMC的形态运动滤波器方法和适合较快运动IMC的变化检测掩码方法。处理结果表明该方法取得较好的分割效果。

基于光谱成像的多帧视频图像视觉传达方法

多帧视频图像视觉传达方法存在图像噪声高、图像质量不佳等问题,提出基于光谱成像的多帧视频图像视觉传达方法。通过图像梯度向量获取视频图像,根据视频图像中边缘模糊程度估算图像的深度值,在红、绿、蓝颜色空间上对图像展开编码,构建阶跃边缘函数实现多帧视频图像颜色补偿,通过八叉树对多帧视频图像色彩进行量化,提取图像主色彩特征,根据光谱成像技术确定视频图像关键帧,实现多帧视频图像视觉传达。实验结果表明,所提方法图像质量高,时间消耗仅为3秒,多帧视频图像视觉传达效果好。

无帧视频影像技术 图谋未来3G 应用市场

近日，日本巨石科技集团在人民大会堂展示了他们为迎接3G到来而研究开发了长达12年的专利产品——“无帧视频影像技术”。无帧（FrameFree)．是日本巨石科技集团为这个影像专利技术定义的专用名词，指在两幅或多幅静止图象之间插入数学函数介质之后自动生成连续影像的技术。

基于计算机视觉和视频插帧的结构振动测试与模态识别

结构振动测试和模态参数识别是基于结构动态特性进行结构健康监测(SHM)的基本方法。为克服传统接触式测试的不便,引入了非接触式计算机视觉方法,其中以智能手机为数据采集装置的方法受到越来越多的关注。然而智能手机相机往往因为性能受限无法满足需求,从而导致测量结果精度下降。为此,提出一种改进的视频插帧算法EQVI-T与改进的边缘检测算法,通过提高原始视频的帧率和提出的特征点追踪方法共同提升计算精度。为验证这一方法的有效性,将其应用于试验室模型的位移响应监测和模态参数识别,并进行了定量和定性评估。结果表明,所提方法在提高测量精度和准确性方面具有显著优势,展示了其在结构振动测试中的潜在应用价值。

基于门控时空注意力的视频帧预测模型

针对循环式视频帧预测架构存在精度低、训练缓慢,以及结构复杂和误差累积等问题,提出了一种基于门控时空注意力的视频帧预测模型。首先,通过空间编码器提取视频帧序列的高级语义信息,同时保留背景特征;其次,建立门控时空注意力机制,采用多尺度深度条形卷积和通道注意力来学习帧内及帧间的时空特征,并利用门控融合机制平衡时空注意力的特征学习能力;最后,由空间解码器将高级特征解码为预测的真实图像,并补充背景语义以完善细节。在Moving MNIST、TaxiBJ、WeatherBench、KITTI数据集上的实验结果显示,同多进多出模型SimVP相比,MSE分别降低了14.7%、6.7%、10.5%、18.5%,在消融扩展实验中,所提模型达到了较好的综合性能,具有预测精度高、计算量低和推理效率高等优势。

瞬态场景下基于光流法的红外视频插帧算法研究

针对现有红外图像插帧方法,在瞬态场景下均不能得到鲁棒性较好的插入帧红外图像,提出了一种基于注意力的多尺度、多分支光流网络,提取相邻2帧红外图像光流信息,每个分支分别学习一种光流信息,利用多尺度特征融合模块在每个尺度上聚焦局部重要信息。设计了一个多光流特征重加权模块,根据通道注意力自适应地选择每个光流的特征。经实验结果证明,所提方法可以很好地完成插帧任务,其性能与最先进的方法相比较更具有优越性。

基于不确定度感知的帧关联短视频事件检测方法

针对如何联合短视频的帧不确定度和时序关联性,以增强事件检测能力的问题,提出一种基于不确定度感知的帧关联短视频事件检测方法。首先,利用2D卷积神经网络(CNN)提取短视频每一帧的特征,再将该特征多次前向传播并通过贝叶斯变分层获得特征均值和与特征对应的不确定度信息;其次,利用模型构建的不确定度感知模块将特征均值和不确定度信息进行融合,再将融合后所得的各帧特征通过时序关联模块加强时域上的联系;最后,用时域关联后的特征通过分类网络实现短视频事件检测。在从Flickr平台上爬取到的短视频事件检测数据集上开展实验对比,实验结果表明,支持向量机(SVM)等子空间学习方法的分类性能较差,对高级语义表示的探索不充分;而深度学习方法对于事件检测的准确率明显更优。相较于SViTT(Sparse Video-Text Transformer)方法,所提方法的准确率、平均召回率和平均精度分别提高了3.37%、2.55%和2.09%,验证了所提方法在短视频事件检测任务上的有效性。

改进视觉Transformer的视频插帧方法

针对现有的视频插帧方法无法有效处理大运动和复杂运动场景的问题,提出了一种改进视觉Transformer的视频插帧方法。该方法融合了基于跨尺度窗口的注意力和可分离的时空局部注意力,增大了注意力的感受野并聚合了多尺度信息;对时空依赖和远程像素依赖关系进行联合建模,进而增强了模型对大运动场景的处理能力。实验结果表明,该方法在Vimeo90K测试集和DAVIS数据集上的PSNR指标分别达到了37.13 dB和28.28 dB,SSIM指标分别达到了0.978和0.891。同时,可视化结果表明,该方法针对存在大运动、复杂运动和遮挡场景的视频能产生清晰合理的插帧结果。

基于帧间量化参数强度值检测深度伪造人像视频

深度学习算法的发展为伪造人像视频的创作增添了“助力”,应运而生的深度伪造检测成为学界和业界关注的焦点。基于深度学习的伪造视频检测技术需要耗费大量时间与算力训练分类器,深度学习网络的黑盒性和不可解释性也困扰着深度伪造人像视频取证研究。围绕深度伪造人像视频的真实性取证问题,本文提出一种基于视频帧间量化参数强度值的检测方法,并通过二元Logistic回归方程给出参考阈值。实验结果表明:本文的方法在检测利用DeepFaceLab换脸平台合成的深度伪造人像视频中表现出良好的准确率和鲁棒性。所提方法有助于对可疑人像视频真实性进行判断,为涉案人像视频提供取证依据。

基于深度值前向投影的视频帧插值模型

视频帧插值技术应用广泛,其目的是在给定两个连续的视频帧条件下,生成中间帧。针对向投影过程中经常出现的多个像素投影到同一个位置的像素重叠问题,提出了一种基于深度值前向投影的视频帧插值模型。根据提出的深度估计模块的深度值对前向投影过程进行线性加权,并具有深度平移不变性,对重叠像素区域的前景物体边界和背景像素的像素重建有一定的效果提升。实验结果表明,所提出的算法在公开的视频帧内插数据集Vimeo-90k上测试结果良好,与其他算法相比,在PSNR、SSIM和LPIPS性能评价指标上均能达到较为优秀的性能指标,验证了算法的优越性。

大气散射模型与关联帧补偿的视频图像去雾及增强

针对雾霾天气下获取的视频及图像存在雾化、模糊等问题,提出大气散射模型结合关联帧补偿的视频图像去雾及增强算法。首先,设计了多维空间权重注意力模块提取空间信息,转移不同特征信息权重,提高其利用率;其次,构造参数估计子网络提取大气光和透射图,结合大气散射模型求取清晰图像;其次,提出关联帧补偿机制,利用视频帧间关联性提高参数估计准确度,降低网络学习难度;最后,设计多项式损失函数进一步提高输出质量。在多个数据集下的实验结果表明,算法处理后的结构相似性(Structure Similarity Index Measure,SSIM)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)分别达到0.91和27.13 dB,均优于对比的经典及新颖算法,有效解决图像雾化问题的同时能增强纹理细节等特征,满足视频和图像实时去雾要求,为后续基于人工智能的视觉任务提供良好基础。

基于光流估计和核估计结合的4K视频插帧

为了满足观众日渐增长的对于超高清分辨率下帧率的需求,视频插帧技术成为了提升视频帧速率的主要手段之一。目前多数视频插帧技术取得了不错的效果,但由于缺少4K视频数据集,这些方法对超高清视频的处理并不理想。为了解决上述问题,创建了一个超高清视频数据集UHD4K120FPS。同时,针对4K视频,提出一种联合基于核估计和光流估计的视频插帧模型。具体来说,两个输入帧分别通过输入核估计子网络和光流估计子网络,提取核估计和光流估计的特征,将提取的特征经过处理后输入后处理融合子网络,通过立方卷积翘曲和多次卷积输出最终的结果。在不同的数据集上进行了训练和验证测试,实验结果表明,与其他主流方法相比该方法可以获得更好的插帧效果。同时,提出的数据集相比其他数据集也能获得更好的插帧结果。

基于视频抽帧技术的输煤皮带智能监测系统的研发与运用

基于视频抽帧技术,介绍了输煤皮带智能监测系统的研发过程,以及该系统在实践运用中的效果和价值,旨在解决现有输煤系统存在的问题,提高其安全与稳定性。该系统利用视频抽帧技术对输煤皮带的运行状态及环境情况进行实时监测,并通过深度学习建模实现自动识别比对,预警潜在的撕裂、堵煤、跑偏、入侵以及异物等问题。该系统具有实时监测效果好、深度学习建模精度高、测控一体化实现简单、系统稳定性好以及经济效益明显等优点,可大幅提高输煤皮带的作业效率和安全性,减少设备故障和安全事故的发生。

一种在原始视频帧中嵌入的鲁棒的数字水印

该文提出的在原始视频帧中的扩频水印方案,使用二值图像作为水印,采用每帧索引的办法,并且利用相邻帧的统计相关性来嵌入水印。对于丢帧、帧重组以及共谋攻击有很强的鲁棒性。水印提取时不需要用到原始视频。文中对该方案进行了详细的介绍,并给出了仿真实验结果。

基于SVM和ICA的视频帧字幕自动定位与提取

视频字幕蕴涵了丰富语义,可以用来对相应视频流进行高级语义标注,但由于先前视频字幕提取考虑的只是如何尽可能定义好字幕特征,而忽视了分类学习机自身的学习推广能力.针对这一局限性,提出了一种基于支持向量机和独立分量分析的视频帧字幕定位与提取算法.该算法是首先将原始图象帧分割成N×N大小子块,同时将每个子块标注为字幕块和非字幕块两类;然后从每个子块提取能够保持相互高阶独立的独立分量特征去训练支持向量机分类器;最后结合金字塔模型和去噪方法,用训练好的支持向量机来实现对视频字幕区域自动定位提取.由于支持向量机能够在样本不是很多的情况下,具有良好的分类推广能力以及能使独立成分特征之间彼此保持高阶独立性,与其他视频帧字幕定位提取算法比较的结果表明,该算法具有明显的优点.

基于视频帧的彩色水印嵌入算法研究

为了增强水印的内容认证性,提出了视频帧中嵌入彩色水印的算法.先分别选取I帧的单色通道做DCT变换,分块后提取奇异值,将彩色水印的对应通道层做DWT变换,对低频区域置乱后提取奇异值,再将水印奇异值嵌入到载体奇异值中,然后由三色通道合成水印视频图像.最后进行了攻击实验,实验结果表明,该算法具有较好的水印提取能力和一定的鲁棒性.

基于循环区域关注和视频帧关注的视频行为识别网络设计

视频帧中复杂的环境背景、照明条件等与行为无关的视觉信息给行为空间特征带来了大量的冗余和噪声,一定程度上影响了行为识别的准确性.针对这一点,本文提出了一种循环区域关注单元以捕捉空间特征中与行为相关的区域视觉信息,并根据视频的时序特性又提出了循环区域关注模型.其次,本文又提出了一种能够突显整段行为视频序列中较为重要帧的视频帧关注模型,以减少异类行为视频序列间相似的前后关联给识别带来的干扰.最后,提出了一个能够端到端训练的网络模型:基于循环区域关注和视频帧关注的视频行为识别网络(Recurrent Region Attention and Video Frame Attention based video action recognition Network,RFANet).在两个视频行为识别基准UCF101数据集和HMDB51数据集上的实验表明,本文提出的端到端网络RFANet能够可靠地识别出视频中行为的所属类别.受双流结构启发,本文构建了双模态RFANet网络.在相同的训练环境下,双模态RFANet网络在两个数据集上达到了最优的性能.

电视动态视频帧的定时捕获与识别

介绍了电视动态视频帧的定时捕获和识别，叙述了定时的校正和基于散度的视频图像帧的识别方法．

应急测绘视频帧与GIS系统匹配技术

针对应急测绘中无人机视频帧数据与三维地理信息平台中的底图影像数据分辨率不一致、GNSS/IMU几何精度差,且基于已有的匹配方式会出现匹配错位等问题,提出视频关键帧与底图数据库影像匹配融合方法。通过对视频帧影像实时提取、视频帧影像与GNSS/IMU数据实时同步,根据GNSS/IMU精度以及底图数据类型情况,分别采用帧影像实时纠正、帧影像与底图实时匹配以及几何纠正与帧影像两两匹配相结合的方法,实现了视频关键帧与底图数据库影像匹配融合。该方法提高了视频帧影像与三维地理信息平台的实时融合效果,为无人机视频实时应急测绘提出了解决方法。

一种改进的基于SURF的视频帧间匹配方法

针对视频连续帧间匹配不准确、错误率高、匹配速度慢的问题,提出了一种改进的基于SURF(Speeded Up Robust Feature)特征点的匹配方法。按照SURF算法进行特征点检测和描述;对视频连续帧利用改进的最近邻与次近邻的比的方法进行双向匹配,在匹配时仅在以相应位置为中心的邻域内寻找最近邻点和次近邻点,根据最近距离与次近距离的比值与预先设定阈值的比较结果确定是否接受这一匹配点对;用RANSAC(Random Sample Consensus)方法建立变换矩阵模型剔除错误匹配点,得到精确匹配的特征点对,完成匹配过程。在经典的视频数据集上进行实验,实验结果表明该方法不仅提高了视频连续帧间匹配的正确率,同时使匹配时间相对缩短了一半左右,显著提高了匹配效率,证明了算法的有效性。