基于双参考帧的多源着色结果融合的视频着色方法

对黑白视频着色时,为了更好地利用参考帧信息,提出一种基于双参考帧的多源着色结果融合的着色方法.首先,采用硬注意力融合子模块融合双参考帧提供的颜色信息,以防止双帧语义匹配模块着色时不合理参考信息导致的颜色模糊问题.然后,使用多源着色结果融合模块融合通过双帧光流传播模块、双帧语义匹配模块以及遮挡信息得到的着色结果,进而产生更优质的着色结果.实验结果表明,该方法在Davis30测试集上的峰值信噪比(PSNR)、结构相似性(SSIM)和颜色分布一致性指数(CDC)分别为37.36 dB、0.980 5、0.003 748,说明该方法能够通过多种融合方式充分利用双参考帧的信息为灰度帧着色,并生成美观且具有较好时间一致性的着色结果.

瞬态场景下基于光流法的红外视频插帧算法研究

针对现有红外图像插帧方法,在瞬态场景下均不能得到鲁棒性较好的插入帧红外图像,提出了一种基于注意力的多尺度、多分支光流网络,提取相邻2帧红外图像光流信息,每个分支分别学习一种光流信息,利用多尺度特征融合模块在每个尺度上聚焦局部重要信息。设计了一个多光流特征重加权模块,根据通道注意力自适应地选择每个光流的特征。经实验结果证明,所提方法可以很好地完成插帧任务,其性能与最先进的方法相比较更具有优越性。

一种基于频域的运动模糊视频复原方法

视频广泛使用于日常生活、公共安全和空间探索等领域。摄像机抖动和物体运动都会引起采集到的视频发生运动模糊现象。模糊的视频不仅会影响视觉感受,而且会影响对视频中信息的提取和辨识工作,因此需要对模糊视频复原。采集到的运动模糊视频中的模糊具有随机性,对于同一个物体,可能在某些视频帧中是模糊的,但是在另一些视频帧中可能是清晰的。根据这一特征,提出一种基于频域的运动模糊视频复原方法。该方法通过在频域中利用曲波变换融合多个相邻视频帧,获得清晰视频。该方法不需要估计模糊核和迭代求解模型,具有较快的运算速度。曲波变换具有很强的方向敏感性和各向异性特征,有助于模糊视频中边缘信息的复原。实验结果证明,提出的复原方法与现有的复原方法相比具有较好的复原效果。

基于多支路聚合的帧预测轻量化视频异常检测

复杂场景下的视频异常检测任务具有重要的研究价值与应用意义。尽管基于预测的视频异常检测方法在性能方面取得了显著进展,但仍面临诸如高模型参数量和待进一步提升的检测性能等挑战。针对这些问题,提出了一种基于多支路聚合的帧预测轻量化视频异常检测模型,模型采用多支路聚合的Transformer单元作为基本结构,显著减少了模型参数量和计算成本,并提升了检测精度。在此基础上,设计了多支路Transformer融合的编码器,在提取正常事件的时序运动特征的同时采用多分支连接操作实现多层特征融合,提升编码器特征优化能力。同时,设计了基于K-means的多支路聚类解码器,缓解正常特征多样性对异常性能检测的影响。在3个权威数据集UCSD Ped2,CUHK Avenue和ShanghaiTech上的实验结果表明,与当前主流算法相比,该模型具有更低的计算成本及良好的检测性能。

基于激光视觉融合的多帧影视图像视觉传达设计研究

连续动态蒙太奇切换下多帧影视图像受到光影扰动导致视觉传达能力不好,提出基于激光视觉融合的多帧影视图像视觉传达设计方法。建立多帧影视图像激光视觉信息检测模型,构建连续动态蒙太奇切换下多帧影视图像的匹配滤波检测模型,根据对动态蒙太奇切换下多帧影视图像的先验视觉谱知识重构,提取多帧影视图像的激光视觉传感特征值,采用激光视觉融合技术实现对连续动态蒙太奇切换下多帧影视图像的噪点抑制和梯度增强,构建多帧影视图像的边缘轮廓检测模型,根据激光视觉融合结果实现对多帧影视图像的纹理边缘滤波和视觉重构,根据视觉重建结果实现对连续动态蒙太奇切换下多帧影视图像的视觉增强和传达设计。仿真结果表明,采用该方法进行多帧影视图像视觉传达设计的融合度水平较高,影视视觉传达能力较好,峰值信噪比较高,说明成像质量水平较高。

体育运动视频关键帧自动提取系统设计

为确保体育运动训练的科学性,设计体育运动视频关键帧自动提取系统。系统利用内置嵌入式Linux系统实时采集体育运动视频,利用目标跟踪模型从动态注意力和静态注意力两个角度跟踪视频目标,经基于动态优先的特征融合方法融合动态注意力和静态注意力后,将融合后注意力值最大的帧作为提取到的运动视频关键帧。实验结果表明系统可更有效获取视频关键帧,提取视频关键帧的压缩比例高,可有效清除冗余视频帧;且关键帧提取保真度和重构度高。

应急测绘视频帧与GIS系统匹配技术

针对应急测绘中无人机视频帧数据与三维地理信息平台中的底图影像数据分辨率不一致、GNSS/IMU几何精度差,且基于已有的匹配方式会出现匹配错位等问题,提出视频关键帧与底图数据库影像匹配融合方法。通过对视频帧影像实时提取、视频帧影像与GNSS/IMU数据实时同步,根据GNSS/IMU精度以及底图数据类型情况,分别采用帧影像实时纠正、帧影像与底图实时匹配以及几何纠正与帧影像两两匹配相结合的方法,实现了视频关键帧与底图数据库影像匹配融合。该方法提高了视频帧影像与三维地理信息平台的实时融合效果,为无人机视频实时应急测绘提出了解决方法。

红外与可见光视频序列融合算法研究

提出了一种基于动态目标区域检测的红外与可见光图像视频序列融合方法;应用改进的混合帧差法对红外图像序列中的目标区域进行检测,并采用一种新的基于非下采样Contourlet变换的图像融合规则,对红外与可见光图像中的目标区域进行融合,并将融合后的目标区域与已配准的可见光图像的背景相结合得到最终的融合图像;实验结果表明相对于其他传统的方法,新算法所得图像的信息熵、标准差和互信息值最大,融合效果要优于其他算法;不仅具有良好的红外图像的目标特征,同时也保留了可见光图像的细节信息,并具有平移不变性以及良好的实时性。

视频检索中图像信息量度量

综合考虑信息量度量的速度、性能要求,提出了相适应的显著图、多特征融合模型;基于区域划分融入空间关系,提出了分块信息熵的图像信息量度量方法(SEII);构建了信息量度量的标注数据集,并设计了性能验证方法。实验结果表明该度量方法符合人眼视觉的评价结果。度量方法在实际视频检索系统中进行对比应用测试,测试表明m AP提高4.4%,检索速度提高1.5倍。

最优距离聚类和特征融合表达的关键帧提取

为了提高视频关键帧提取的质量和效率,提出一种基于最优距离聚类和特征融合表达的视频关键帧提取算法。在视频帧间差异性分析基础上,寻找并确定最优帧间距离阈值,采用无监督聚类算法对帧间距离进行聚类,获得类别数目最优的类图像集;计算图像的颜色复杂度和信息熵并融合,按照类中图像特征值"平均"的思想提取类代表帧,组成视频关键帧。对4个监测视频进行实验,结果显示:该算法提取关键帧的平均保真度为96.72%、平均压缩率为96.42%,运行时间也较短,与两种典型的基于聚类的关键帧提取方法相比,在相同的压缩率情况下,算法保真度大幅度提高,而运行时间较小或相当。该算法解决了无监督聚类对阈值的依赖性问题,兼顾了视频中运动目标变化和环境异常两种情况,具有良好的性能和适应性。

基于多特征融合的高动态舞蹈视频关键帧提取系统

由于单一的图像特征并不能很准确的描述视频内容,会导致后续提取出来的关键帧出现漏检和错检问题。针对上述问题,设计一种基于多特征融合的高动态舞蹈视频关键帧提取系统。该系统按照需要给三种不同的特征向量(颜色特征、纹理特征、形状特征)分配合适的权值,然后将特征与权值相乘后再相加,得到一个多特征组合,最后以特征组合作为视觉特征,结合聚类算法,实现高动态舞蹈视频关键帧提取。结果表明:在本文所设计系统的应用下,关键帧提取结果与实际设计的结果相同,没有出现关键帧漏检和错检问题,关键帧提取质量较高。

基于卷积神经网络视觉融合的动态手势识别

为了提高多帧视频序列中动态手势的识别效果,结合计算机视觉分析,提出了基于卷积神经网络视觉融合的动态手势识别方法。采用模糊数据多频谱方法进行多帧视频序列中动态手势视觉图像采集,对采集的图像用Harris角点检测和多传感识别方法进行多模状态分层特征点标定,用卷积神经网络视觉融合方法提取多帧视频序列中动态手势动作的边界轮廓特征点信息,分析多帧视频序列中动态手势的层次化分割特征,用图像分割和边缘信息增强方法,提高动态手势图像的分辨能力,结合角点优化检测技术,用视觉动态跟踪分析实现对手势动作特征点的自动化标定,根据动态手势的帧点分布规则实现多帧视频序列中动态手势动作图像的自适应特征检测和识别。仿真结果表明,采用该方法进行多帧视频序列中动态手势识别的准确性较高、实时性较好。

基于时空信息特征融合的视频指纹算法

为满足视频拷贝检测系统的鲁棒性、独特性和紧凑性,提出一种包含时空信息特征的视频指纹算法。利用时空切片和关键帧构成时空信息,将包含视频关键帧空域信息的Gabor特征和时空切片时域信息的直方图特征加权融合,量化后得到视频指纹。在公开数据库上进行对比实验,结果表明,与结构图模型、时间信息表示图像、梯度方向质心等算法相比,该算法ROC性能突出,鲁棒性得到明显提高,整体性能更优。

基于时空融合的多帧压缩视频增强方法

为了减少视频的存储和传输开销,通常对视频进行有损压缩处理以减小体积,往往会在视频中引入各类不自然效应,造成主观质量的严重下降。基于单帧的压缩图像复原方法仅利用当前帧有限的空间信息,效果有限。而现有的多帧方法则大多采用帧间对齐或时序结构来利用相邻帧信息以加强重建,但在对齐性能上仍有较大的提升空间。针对上述问题,提出一种基于多帧时空融合的压缩视频复原方法,通过设计的深度特征提取块和自适应对齐网络实现更优的对齐融合,充分地利用多帧时空信息以重建高质量视频。该方法在公开测试集上(HEVC HM16.5低延时P配置)优于所有对比方法,并在客观指标上(峰值信噪比PSNR)相比于目前最先进的方法STDF取得了平均0.13 dB的提升。同时,在主观比较上,该方法也取得了领先的效果,重建出更干净的画面,实现了良好的压缩不自然效应去除效果。

YOLO v4框架下Multi⁃Patch多帧增量式交通视频目标检测

提升目标检测模型的泛化能力是计算机视觉领域的研究热点和关键难点。本文提出了一种Multi⁃Patch方法和多帧增量式预测策略,提升了不同场景下交通视频目标检测的稳健性,有效解决了目标尺度多变导致的视频中目标召回率低的问题。根据视频分辨率和目标尺寸,基于Multi⁃Patch方法自动将视频帧分割成最佳输入尺寸,使用YOLO v4神经网络并关联连续帧的上下文信息,采用增量式预测策略降低视频目标检测的漏检率,提升不同场景下视频目标的检测置信度得分和召回率。采集不同拍摄条件下的交通视频,验证该方法的有效性。试验结果表明,本文提出的目标检测方法召回率在80%以上,置信度平均得分在0.84以上。

基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.

一种多尺度光流预测与融合的实时视频插帧方法

普通摄像设备拍摄的视频帧速率有限,从而影响观众的特殊观感体验,提高视频帧速率的后处理过程是必不可少的,视频插帧就是其中关键技术之一.视频插帧是指根据两个连续视频帧合成中间帧数据,在影视作品、体育比赛精彩视频片段慢动作回放等方面有广泛的应用.基于光流的视频插帧方法能有效解决视频中场景、目标的移动估计问题,但是其受制于光流估计的速度,无法很好地应用于实时视频任务.本文提出一种新的光流预测模型,并将其用于视频插帧任务中.首先对于输入的两张连续视频帧数据进行多次信息无损的下采样,获得不同尺度的输入数据;之后通过卷积神经网络进行特征提取,并对提取的特征建立注意力掩码,增强特征表达能力,根据该特征生成对应尺度的光流;最后使用融合网络,将多尺度的光流信息聚合为统一的尺度作为最终输出.本文方法能够被端到端的优化训练,并在大规模视频插帧基准数据集上进行了训练和验证测试.结果表明该方法能够获得高质量的插帧效果并能够达到实时的插帧速率,而且比其它先进方法更具优越性.

基于光流估计的轻量级视频插帧算法

为了提升流媒体视频的帧率,解决视频插帧算法模型复杂的问题,提出了一种基于光流估计的轻量级视频插帧算法,简称SKFEVI算法。该算法只需进行一次光流估计,即可计算出两个视频帧的中间流信息,提升了中间流的估计速度,并在此基础上引入注意力机制进行特征融合,让模型对生成不同尺度特征的信息进行整合,增强了特征表达能力,提升了信息处理效率。实验结果表明,该算法的PSRN值提升至35.56 dB,SSIM值提升至0.978,合成的中间帧质量更好,流媒体视频播放更加流畅。