基于双参考帧的多源着色结果融合的视频着色方法

对黑白视频着色时,为了更好地利用参考帧信息,提出一种基于双参考帧的多源着色结果融合的着色方法.首先,采用硬注意力融合子模块融合双参考帧提供的颜色信息,以防止双帧语义匹配模块着色时不合理参考信息导致的颜色模糊问题.然后,使用多源着色结果融合模块融合通过双帧光流传播模块、双帧语义匹配模块以及遮挡信息得到的着色结果,进而产生更优质的着色结果.实验结果表明,该方法在Davis30测试集上的峰值信噪比(PSNR)、结构相似性(SSIM)和颜色分布一致性指数(CDC)分别为37.36 dB、0.980 5、0.003 748,说明该方法能够通过多种融合方式充分利用双参考帧的信息为灰度帧着色,并生成美观且具有较好时间一致性的着色结果.

基于自适应配准参数更新的实时彩色视频图像融合方法

提出一种基于自适应配准参数更新并适用于待配准可见光与红外视频图像的实时彩色融合算法.首先,自适应地更新每帧图像的配准参数,完成对每帧可见光图像和红外图像的配准;其次,对配准的图像进行线性灰度融合,选取合适的彩色目标图像,在YUV空间完成目标图像颜色信息向融合图像的快速颜色传递,得到彩色融合图像.实验结果表明,算法效果明显优于伪彩色融合方法,且运算速度完全能够满足对视频进行实时处理的要求.

基于颜色传递的数字视频融合方法

针对伪彩色融合方法的融合图像色彩单一、颜色传递算法计算复杂等问题,提出一种新的红外与可见光数字视频融合方法。该方法在Toet算法的基础上,利用图像统计信息进行颜色查找表映射运算,对融合图像进行快速颜色传递,使融合结果具有与参考图像相同的色彩信息。实验结果表明,该方法的融合结果接近自然景物的颜色,效果优于伪彩色融合方法,且运算速度较颜色传递算法有较大提高。

基于小区域融合的实时视频拼接技术

针对视频拼接实时性的需求,提出一种利用小区域融合和查表映射实现实时视频拼接的方法.该方法首先利用颜色校正算法对待拼接摄像头视频进行颜色校正;然后在初始化阶段估算出图像变换参数和小区域融合权值,并以索引表的方式保存;最后在视频拼接阶段利用查表法对视频进行实时拼接.实验结果表明,该方法在较好消除残影和拼接缝隙的同时,能将每帧的平均拼接时间降低至约0.03s,并在拼接速度和拼接效果上都较好.

融合音频特征的比赛场地主颜色聚类算法

针对当前手动分割视频获取主颜色实验帧序列,导致算法鲁棒性差,自动化程度低等问题,着重分析了体育比赛的音频特征及场地颜色特征,提出一种融合音频特征的主颜色聚类算法。实验结果表明,该算法不需人工预处理,针对不同比赛场地具有良好的鲁棒性,通过音频特征的辅助分析,有效提高主颜色提取准确率,同时降低时间复杂度。

面向电力机房监控的音视频融合检测方法研究

为实现电力机房重点区域指示灯安全事件的监控,提出一种音视频融合检测方法。采用监控区域彩色图像非线性变换和最大类间方差法自动阈值分割技术进行指示灯定位,将局部区域统计直方图作为视频特征向量。采用连续多帧梅尔频率倒谱系数建立监控区域的音频特征向量。利用主成分分析对连续多帧的音视频融合特征向量进行降维处理,并借助支持向量机对不同安全事件进行分类检测。实验结果表明,与单独采用音频或者视频进行安全事件检测的方法相比,该方法具有较高的检测率和较低的误检率。

基于多特征融合的视频检索算法

随着视频等多媒体数据呈指数式迅猛增长,高效快速的视频检索算法引起越来越多的重视。传统的图像特征如颜色直方图以及尺度不变特征变换等对视频拷贝检测中检索速度以及检测精度等问题无法达到很好的效果,因此文中提出一种多特征融合的视频检索方法。该方法利用前后两帧的时空特征进行基于滑动窗口的时间对齐算法,以达到减少检索的范围和提高检索速度的目的。该算法对关键帧进行灰度序列特征、颜色相关图特征以及SIFT局部特征提取,然后融合全局特征和局部特征两者的优势,从而提高检测精度。实验结果表明,该方法可达到较好的视频检索精度。

双通道决策信息融合下的微表情识别

微表情作为揭示潜在情绪的一个重要通道,是一种无意识的、不受大脑控制的非语言面部信息,能够反映人们最真实的心理感受和心理状态。但是,微表情存在动作幅度小且快速出现、不易被捕捉等特性,使得单一模态的微表情识别准确率难以提升。针对上述问题,提出一种微表情面部颜色特征提取算法,并将其提取的特征与微表情纹理特征进行决策融合,从而构成微表情双模态情感识别模型。该模型首先通过均匀动态纹理识别方法从经过预处理的微表情数据中提取相应的纹理特征;其次计算微表情两帧序列图片的每一个像素点之间的Lab色差,由此获得面部的颜色特征,并对其进行嵌入式特征选择以剔除冗余的特征;然后分别训练两种模态的分类器,并将两种模态训练得到的分类信息进行决策融合;最后得到微表情情绪分类结果。模型在微表情数据集CAMSEⅡ和SMIC上进行了实验。实验结果表明,微表情的纹理单模态和面部颜色单模态的平均识别准确率约为64.73%、51.64%和63.58%、50.48%,而决策融合后微表情情绪的识别结果约为68.11%和66.43%,高于融合前微表情的识别准确率,说明文中提出的微表情双模态情感识别模型明显提高了微表情的识别能力。

多色彩空间信息融合的运动目标检测技术

针对视频流人体目标分割问题,提出一种基于颜色特征运动目标分割算法。首帧进行图像预处理,利用色调和亮度两个分量加强颜色差异,然后使用OTSU算法对图像进行阈值分割,结合RGB颜色空间启发式肤色聚类结果确定运动目标所在的连通区域,从而完成首帧运动目标的自动检测。在后续帧的处理中,通过自适应数学形态学方法预测运动区域并分割。结果表明,本方法有效地克服了复杂背景变化的影响,能够快速实现跳水运动目标的分割,且对运动对象的快速整体运动有较强的鲁棒性。

一种基于深度学习的面部视频情感识别方法

情绪的变化往往直接体现在脸部,针对大多数面部视频情感识别方法只考虑面部的表情特征,而忽略面部蕴藏的生理特征的问题,提出一种融合面部表情与面部生理信号的情感识别方法。首先,对包含人脸的视频进行欧拉颜色放大,放大面部视频中微弱的生理信号;其次,采用经过微调的三维卷积神经网络,分别提取面部表情特征和面部生理特征,再送入到Softmax分类器进行分类,得到不同模态各类别的分类概率;最后,提出一种自动权重寻优策略进行决策融合,为不同模态分配相应的权重,得到融合后的分类结果。在RAVDESS数据集和eNTERFACE'05数据集上进行实验评估,结果证明该方法是有效的。