视频运动放大技术发展分析

人们受限于身体机能,对许多重要信息无法直观获取。往往借助各种传感器,伴随着视频放大技术的兴起,人们借助计算机视觉技术起到了辅助桥梁监测的作用。这是由于视频运动放大技术可以将许多人眼无法直观看到的细微运动呈现出来,来实现对运动的观察和监测。随着计算机视觉领域的迅猛发张,视频运动放大技术,也从最初的拉格朗日放大方法、欧拉放大方法、相位放大方法,逐步过渡到深度学习模型和Transformer模型。之后,该技术更是被广泛应用于多个场景中,例如:微表情识别、动态行为检测、非接触心理检测等。

视频微小运动放大的加速方法

通过放大视频中的微小运动,可以展现一些肉眼不可见的运动信息。原始欧拉视频放大技术(EVM方法)将输入的视频由RGB颜色空间转换为YIQ颜色空间,对视频的YIQ三个通道进行运动放大处理,这样的处理过程十分耗时。在原方法的基础上,分别提出了基于RGB颜色空间和基于Y通道的运动放大加速方法。将Y通道方法、RGB方法和EVM方法进行实验对比,结果表明:RGB方法相对EVM方法在处理速度方面有所提升,但是运动放大效果差别较大;Y通道方法相对于EVM方法在处理速度方面得到了明显的提升,而且在放大效果方面基本保持一致。

一种图像序列的细微运动放大算法

为更好地描述具有细微运动图像序列的运动细节,揭示潜在运动信息,提出一种细微运动放大算法.设计了基于欧拉放大的图像序列时空处理方法,获得运动放大图像序列;提出基于视觉显著性的运动区域检测方法,获取准确的细微运动区域;最后设计了基于区域的运动细节增强方案,提高了运动区域的清晰度,减轻了运动放大所引入的瑕疵.以上述方法为基础,最终可获取高质量的运动放大图像序列.与最新的图像运动放大算法对比的实验结果表明,提出的算法更为准确地表征图像中对象的运动细节,同时在客观量化评价指标上取得了更好的效果.

基于宽带相位运动放大与机器视觉的结构振动频率识别

为了解决现有视觉技术难以准确测量结构微小振动的问题,该文提出了一种基于宽带相位运动放大(BPMM)和亚像素模板匹配算法的结构振动测量和频率识别方法。首先,利用相机拍摄结构的振动视频图像,并对图像中的噪声进行初步去除。其次,在不需要结构频率先验信息的情况下,在包含所有感兴趣频率的宽频带内进行滤波,选取合适的放大倍数进行微小振动视频的放大处理,再利用亚像素模板匹配算法从放大后的视频中提取结构的位移时程响应。最后,对提取的结构位移进行归一化处理,得到结构的实际位移时程响应,利用快速傅里叶变换(FFT)获取结构的振动频率。结果表明:BPMM算法既能实现结构微小振动位移幅值的放大,又能有效去除微小振动视频中的噪声,提高了图像的信噪比,从运动放大后的视频图像中可以准确地识别结构的振动频率。通过3层框架结构的室内试验和实桥试验对该文方法进行了验证,识别误差分别在1%和5%以内。该文方法可在不需要结构频率先验信息的情况下实现微小振动的盲放大处理,具有噪声鲁棒性好、计算量小及适用性强等优点,为结构微小振动测量提供了一种新思路,具有良好的应用前景。

基于欧拉运动放大算法的桥梁索力测试方法研究

斜拉索、吊杆和系杆是缆索承重桥梁的重要受力构件,但传统的索力测试方法存在操作复杂、成本高和效率低的缺点,为此开展基于欧拉运动放大算法的索力测试方法研究。采用数码摄像设备采集拉索振动的数字图像数据,经过基于相位的欧拉运动放大算法处理,获取运动放大后的图像序列;利用基于Canny算子的边缘识别算法得到边缘图像序列,并通过边缘定位提取拉索人工标记的位移时程数据;最后利用频率法识别拉索索力。以拱桥吊杆索力测试为背景,讨论了基于相位的欧拉运动放大算法与基于Canny算子的边缘识别算法的适用情况。与传统基于加速度传感器的索力测试方法相比,该方法具有易操作、低成本和高效率的特点。

基于改进自编码网络的视频运动放大方法

为有效解决现有方法在视频运动放大过程中存在噪声伪影、图像纹理细节缺失、物体轮廓损失等问题,提出一种改进的自编码网络的视频运动放大方法。在编码器内部引入通道注意力机制,有选择地增强视频图像纹理特征提取,减少生成图像亮度、色彩、纹理损失,采用可变形卷积替代传统卷积提取图像的形状特征,有效减少图像噪声伪影和轮廓细节缺失等问题。实验结果表明,该方法在不同的测试视频上对比其它方法生成视频图像细节、轮廓视觉效果提升明显。

视频微小运动放大的灰度图像方法

传统的欧拉视频放大技术(EVM方法)利用色彩空间的转换,对YIQ通道分别作放大处理,可以放大视频中微小的运动,使人可见,但是这种方法运行速度很慢,为优化此问题,在EVM的基础上,提出了灰度图像放大方法(Gray或GIM方法),先是对EVM方法进行概述分析,之后选取合适的放大因子对两种方法进行实验对比,结果表明:灰度图像方法与EVM方法相比,其处理速度有显著的提高,并且放大效果良好,实际应用性更强。

欧拉运动放大算法在桥梁振动分析中的试验研究

为发展新的桥梁动态位移识别和分析方法,解决桥梁非接触式动态位移测量中的振动显微问题,将欧拉运动放大算法应用于桥梁振动分析。首先利用普通摄像机连续采集一系列桥梁数字影像。而后通过欧拉运动放大算法,对桥梁的连续图像序列进行空域分解,使用对微弱运动敏感的时域带通滤波器进行滤波,得到连续图像序列中的微小振动,再对低频的振动信号采用信号放大处理。随后,通过对振动放大后的数字影像进行帧数分解,获得常规视频采样频率下的桥梁试件振动时间历程序列,最后通过对图像序列中标记点的边缘特征分析,得到了试验桥梁标记点的动态位移测量结果。通过与位移传感器测量结果和百分表的比较,证明所采用和提出的分析方法是可行的,能够满足桥梁动态位移测量的应用需求,也能够针对桥梁的某些振动特性开展初步的定量分析,做到对桥梁结构的微小振动位移进行识别。

基于SPNet的视频运动放大方法

视频运动放大技术在很多领域应用广泛,但是由于关注的运动过于微弱,很容易与视频噪声混淆,容易产生伪影和模糊噪声。为了克服传统算法在细节上的缺失和基于学习的算法在放大倍数上的限制,将手动设计滤波器与课程学习策略相结合,提出了基于可控金字塔分解的网络结构(SPNet),它在处理大幅度运动场景的同时也能具有更大的放大范围,且能保留更多细节。结果表明,在图像细节上优于传统算法,并且与基于机器学习的视频运动放大方法相比也有很大的优势。

视频运动放大方法研究

视频中往往隐藏着细微且重要的运动信息,由于人眼分辨率有限,缺乏对较低空间和时间频率变化的敏感性。通过视频运动放大方法将这些不可见信息放大,使人或者机器视觉系统能得到重要信息。目前研究方法主要有拉格朗日、欧拉视频运动放大、基于深度学习方法。以提高减少噪声伪影逐步提高生成图像质量为目的,介绍了算法的原理及具体实现过程和相应的数据集,通过对比实验结果来评价算法的优劣,并提出了今后将要解决的主要问题和拟采用的方法。

基于欧拉运动放大算法的桥梁振动分析

利用普通摄像机连续采集一系列桥梁数字影像,而后经欧拉运动放大相关算法对桥梁的微振动进行放大,通过对振动放大后的数字影像进行帧数分解,获得常规视频采样频率下的桥梁试件振动时间历程序列,最后通过对图像序列中标记点的边缘特征分析,得到了试验桥梁标记点的动态位移测量结果。通过与位移传感器测量结果和百变表的比较证明,所采用和提出的分析方法是可行的,能够满足桥梁动态位移测量的应用需求,也能够针对桥梁的某些振动特性开展初步的定量分析,做到对桥梁结构的微小振动位移进行识别。

基于欧拉运动放大的微小振动测量技术综述

在工程振动测量领域,近年基于机器视觉的振动测量方法是最常用的技术手段。针对微小幅度振动测量问题,依赖于传统图像处理算法的视觉测量方法难以测准测精,对此,基于机器视觉的运动放大方法是很好的解决方案。这种方法将人眼难以察觉的微小运动进行放大,再结合图像运动信息提取方法,实现了更准确的运动信息测量。本文总结了目前常用的基于机器视觉的振动测量方法,重点围绕基于机器视觉的运动放大技术展开详细介绍。运动放大技术主要分为拉格朗日放大方法及欧拉放大方法,本文介绍了拉格朗日放大技术和欧拉放大技术方法的起源发展,对两类方法的核心进行了对比分析,阐述了欧拉运动放大技术的优越性,进一步详细介绍了多种欧拉放大技术的改进方法,分析了各类改进方法的特点和局限性。最后,总结了基于欧拉运动放大的微小振动测量技术的发展前景。

运动放大方法综述

分析了拉格朗日视角、欧拉视角和相位视角的3种运动放大原理及基于不同视角的运动放大方法。对分别衍生出的放大方法进行了详细阐述,介绍了不同运动放大方法的优缺点以及相应的应用领域。

微小运动放大技术研究概述

对现有的拉格朗日放大技术和欧拉放大技术的原理和技术特点进行了研究和总结,对欧拉放大技术中两个书架受力形变和人脸因血液循环产生的颜色变化实例进行了研究分析。研究表明:欧拉放大技术相对拉格朗日放大技术运算量小,实时性高,在实际应用中具有更广的应用范围和更高的应用价值。

基于运动放大的振动结构的模态识别

快速准确地获取结构的振动信息是确定结构模态参数的关键;随着计算机视觉和高速相机技术的发展,视觉测量振动逐渐受到人们的重视;运动放大技术是一种可检测结构微小运动的计算机视觉技术,相比其他视觉测量技术,采用运动放大技术进行振动结构的模态识别,其优势在于:可在不提取位移的情况下直接展示振动结构的模态特征;为了验证提出方法的可行性,以悬臂梁为例搭建了加速度计和高速相机的模态识别实验系统,并依据理论模态对其实验数据进行模态置信准则(MAC)检验;实验结果表明:采用运动放大技术识别的模态结果与理论结果之间的MAC值最相关可达98.3%,提出的方法可以准确识别振动结构的模态参数。

基于单演小波分析的微小运动放大技术研究

基于机器视觉的微小运动放大技术能将细小变化增强到肉眼可视的程度。传统放大算法依靠拉普拉斯金字塔分解获得图像相位信息,算法复杂耗时,大扰动时会产生大量噪声。论文结合Riesz变换和小波多尺度分析,提出一种微小运动放大算法,利用设计的单演小波快速分解视频帧得到相位和方向信息,提高视频处理速度。与现有放大算法进行实验对比,得到的客观评价指标表明该文算法能更准确地放大运动细节,同时大幅缩短视频处理时间。

微小运动放大及其在超声波传播中的应用

针对在具有复杂残余应力的材料中超声波传播视频信号极其微弱、难以看清其传播过程的问题,采用微小运动放大方法揭示超声波传播视频中人眼难以看见的微小运动,研究了线性欧拉视频放大方法（EVM）和基于相位的视频运动放大方法（PBVM）在超声波传播中的应用.提出了基于可操纵金字塔的微小运动放大方法,通过对一段标准视频序列进行可操纵金字塔空间分解、时域滤波,放大得到的信号以揭示微小的运动.实验结果表明：该方法在图像噪声方面比EVM更不敏感,在计算时间方面该方法比PBVM用时更短.对EVM,PBVM和本方法进行了对比验证,并在超声波传播视频中进行了应用,效果良好.提出的方法也可应用于机械和结构的状态检测中.

基于微小运动的人脸活体检测算法

针对人脸识别过程中容易受到打印攻击、视频重放攻击的问题,提出一种利用微小运动的人脸活体检测算法。该算法对视频进行运动放大处理以增强微小运动;使用运动强度和运动方向描述微小运动,生成两种运动特征图并进行融合;使用基于注意力机制的VGG16网络进行真伪判别。在Replay-attack数据集上半错误率(HTER)为1.35%,在CASIA FASD数据集上等错误率(EER)为2.5%,证明了微小运动对人脸防伪的有效性。

机器视觉运动放大及其在结构模态识别的应用进展

机器视觉运动放大技术能将肉眼难以捕捉的细微结构振动响应进行放大,依据不同空域滤波器将原始图像分解成不同的子图像,从而获取传统方法难以识别的高阶模态信息。本文首先介绍了机器视觉运动放大的拉格朗日方法和欧拉方法,并从噪声处理以及大运动隔离两方面讨论了最新的进展;然后论述了数字图像相关技术、点追踪技术和相位光流法三种提取图像运动特征的方法;之后介绍了本文作者如何利用亮度方程进行相位展开修正原始复值可操控金字塔模型、移除2π相位阶跃避免产生伪像的方法及研究进展;PVC管道振动实验表明高放大倍率下运动放大技术可较好地提取结构高阶模态信息;最后,讨论了视觉运动放大方法在实际应用中存在的优缺点,提出相应的改良措施,并展望了其未来发展方向。

数字图像相关方法辅助的视频运动放大改进方法及其在位移测量中的应用

视频运动放大(Video Motion Magnification,VMM)方法因其能放大视频中的微小运动,而受到工程测量领域的广泛关注。当放大微小运动的视频时,若VMM方法中的时域滤波器参数设置不恰当,放大后的视频容易产生图像伪影和噪声。为了克服传统方法中需要手动设置滤波器参数的缺点,提出一种由数字图像相关(Digital Image Correlation,DIC)方法辅助的VMM改进方法。该方法的主要思想是由DIC方法计算图像位移并由此分析出运动主频,然后将VMM方法中的时域滤波器参数设置在包含该运动主频的较窄区间范围内。这种参数设置方法可保证放大后的视频中保留图像细节且无明显伪影。室内多频运动实验以及室外单频运动实验的结果表明,本文所提出的方法不需要反复手动设置参数试错,可直接获得清晰的运动放大后视频,并可进一步实现微小运动的位移测量。