Electronic image stabilization system based on global feature tracking

A new robust electronic image stabilization system is presented, which involves feature-point, tracking based global motion estimation and Kalman filtering based motion compensation. First, global motion is estimated from the local motions of selected feature points. Considering the local moving objects or the inevitable mismatch, the matching validation, based on the stable relative distance between the points set is proposed, thus maintaining high accuracy and robustness. Next, the global motion parameters are accumulated for correction by Kalman filteration. The experimental result illustrates that the proposed system is effective to stabilize translational, rotational, and zooming jitter and robust to local motions.

一种基于Star算法的多路视频稳像方法研究

目前,基于特征点匹配的稳像算法中存在特征点提取速度慢、误匹配率高,以及多目相机的多路视频稳像太过耗时、实时性不好的问题,提出了一种基于Star特征点提取算法的多路视频快速稳像方法。首先采用Star算法提取视频当前帧特征点,然后采用光流法结合当前帧特征点信息跟踪预测下一帧对应的特征点,以加快特征点提取速度,同时减少所提取的特征点错误匹配率。通过对匹配的特征点求取相应的仿射变换矩阵获取帧间运动矢量,进而采用卡尔曼滤波器对帧间运动矢量进行滤波处理,以滤除其中的相机随机抖动矢量并保留相机的主观运动矢量。最后依据滤波后的运动矢量进行图像补偿得到稳定的图像序列。针对复眼导引头存在的多路视频抖动情况,基于OpenMP并行开发库,利用多核处理器的优势,实现了多路抖动视频的并行实时稳像。所设计的数字稳像算法在PC平台下对4路抖动视频(OTB100的BlurCar系列视频,分辨率为640×480,帧率为30 FPS)并行稳像的结果参数为:峰值信噪比(Peak Signal-to-Noise Ratio,PPSNR)平均提升了4.62 dB,单帧耗时平均为14.51 ms。经仿真实验证实,算法的计算效率和特征点匹配正确率高,可实现多路输入视频的实时稳像。

稳定运动物体视频的特征方法

将背景特征块配对和直方图聚类运动矢量滤波相结合,提出了一种稳定运动物体视频的方法。用得到的全局运动参量补偿摄像机的帧间运动,运用帧差法分割出前景块和背景块,把参考帧背景上的特征块与当前帧上的特征块配对估计下一轮的帧间运动。用一块对多块的匹配策略,把参考块和以参考块为中心的搜索窗内的当前帧上的最佳匹配块配对,建立稀疏运动矢量场。然后,运用直方图聚类方法滤除矢量场中未分离出的前景块矢量和误匹配矢量。最后,用多个包含运动物体的实际视频序列对提出方法进行测试,并与其它先进稳像算法和技术仿真比较。结果表明:提出方法的全局平均帧间变换保真度可达31.05dB,接近或优于上述先进算法和技术。提出的方法对包含运动物体的视频具有较强的鲁棒性,可以去除帧间高频抖动并有效改善视频质量。

基于改进的尺度不变特征变换特征点匹配的电子稳像算法

针对传统尺度不变特征变换(SIFT)算法运算量大的问题,提出了一种改进的SIFT特征点匹配算法。首先介绍了SIFT特征向量的提取过程,并对算法进行了改进,在单尺度空间内提取目标的关键点,并形成34维特征向量,来代替传统SIFT算法生成的128维特征向量,使算法的实时性得到较大的提高,同时又保持了配准精度,最后将提出的改进SIFT特征应用于电子稳像中的全局运动估计中,并通过实验验证了算法的性能。

基于Kalman滤波的稳像技术研究

提出一种适用于视频侦察的实时电子稳像方法。采用特征点匹配法估计帧间全局运动参数,在建立参数运动模型的基础上,通过Kalman滤波确定各帧修正矢量。实验结果说明该方法可以较好地去除高频抖动,保留摄像机的主动运动,实现实时稳像。

一种鲁棒的电子稳像系统

基于特征点跟踪的全局运动估计和利用Kalman滤波的运动补偿,提出一种鲁棒的电子稳像系统.首先,提取特征点的局部信息以估计全局运动,其中各特征点的跟踪是通过特征窗匹配来完成的,同时根据特征点集间具有稳定相对位置的结构特征,提出距离准则,对特征匹配进行验证,来去除前景运动点或误匹配点(即局部特征点).然后,将所有验证后的匹配点对(全局特征点)带入运动模型,并利用Levenberg-Marquardt进行最优化迭代,求出全局运动矢量.最后,对原始运动矢量序列进行Kalman滤波,提取抖动参数以补偿图像.实验结果表明,该系统可以处理图像序列的平移、旋转和缩放等抖动,并且对于场景中的局部运动有良好的鲁棒性.

基于多直线特征的电子图象稳定算法

提出了一种基于多直线段特征的全局运动估计算法 ,同时也介绍了它在电子图象稳定 (EIS)系统中的应用 .首先 ,用全局运动估计技术来估计摄像机的运动 ,即通过小波变换法提取图象中的边缘 ,并利用 Hough变换法提取图象中的直线段特征 ;然后按照直线段的特征参数和位置选择原则选择具有分布特性的多个直线段 ,并通过对应的直线段特征比较计算局部运动参数和全局运动参数 ;最后根据全局运动估计结果 ,利用滤波法进行抖动判别和补偿 ,实现对图象序列的稳定处理 .实验结果表明 ,多直线特征可以准确且稳定地估计摄像机的运动参数 ,通过滤波法可以消除视频序列的抖动 .

一种聚类与灰度投影相结合的电子稳像方法

提出了一种聚类与灰度投影技术相结合的电子稳像方法。首先,利用小波变换法提取特征点,并计算其方向角,通过聚类方法估计旋转角度;角度参数补偿后,根据图像的灰度信息特征得到投影曲线,通过投影曲线间的相关计算进行平移量的运动估计。实验结果表明,该方法对于摄像机的不规则运动参数估计是有效的,而且能够做到实时处理。

基于改进特征点的电子稳像算法研究

提出了一种改进特征点匹配算法的电子稳像技术.通过合理的区域划分,进行图像的特征点提取,并采用距离不变准则,对特征点的有效性进行验证,利用卡尔曼滤波的方法来进行运动补偿.实验结果表明:此算法具有良好的稳像效果.

基于最小生成树与改进卡尔曼滤波器的实时电子稳像方法

为解决稳像过程中局部运动分量导致的全局运动估计不准确问题,提出了一种实时电子稳像方法.该方法提出基于最小生成树的特征点迭代筛选算法,采用相邻帧图像特征点最小生成树的相似度衡量特征点匹配精度,剔除错误匹配的特征点和局部运动前景上的特征点,避免了局部运动分量的影响.采用自适应加权法修正相邻帧之间的仿射变换矩阵,解决由于运动前景遮挡造成的背景特征点数量稀少进而导致的稳像晃动问题.针对相机跟拍与随机抖动分量混合问题,提出基于运动矢量队列的双卡尔曼滤波器,自适应地修正卡尔曼滤波器的测量噪声协方差,动态调整滤波平滑性能,有效处理同时包含相机跟拍运动与随机抖动分量的视频,保留相机跟拍分量.实验表明,该方法对于视频图像中包含局部前景运动和相机跟拍运动的情况,对比其他3种方法,仍可以保持良好的稳像效果;在Intel Core i53.30GHz CPU下,对于640×360分辨率的彩色图像序列可达到40FPS的稳像帧率,并且运算过程中无需利用下一帧图像信息,具有实时稳像的优点.

基于Harris-LM全局运动估计的电子稳像算法研究

全局运动估计用途非常广泛,但是由于全局运动估计计算量大、噪声多等因素使得它很难在实时应用中使用.为了减少全局运动估计的计算量,提高全局运动估计的速度,选取Harris角点进行计算.基于LM(Lev-enberg-Marquardt)全局运动估计的思想,提出一种去除图像画面抖动的算法.通过LM算法估计全局运动参数,从而获得参考帧和当前帧之间的全局运动矢量.然后采用Kalman滤波的方法,一方面较好地平滑运动矢量以降低视频抖动,另一方面有效跟随摄像系统的有意扫描运动.最终进行运动补偿,以达到输出稳定图像的目的.实验结果表明,该算法能较好地实现图像序列的稳定.

图像处理在输电线路防外力破坏监控中的应用

针对工程机械在输电线路走廊内施工时可能会对输电线路造成外力破坏的问题,提出了一套基于电子稳相、连通域检测、形状特征提取的运动图像处理算法。该算法以多高斯建模方法提取的运动目标为基础,对输电线路走廊内出现的工程机械施工场景进行检测、识别和判断。试验证明,该图像处理算法能准确、可靠地提取正在运动的工程机械吊臂。

基于SIFT和卡尔曼滤波的电子稳像技术研究

利用电子稳像方法去除抖动视频中的噪声是目前稳像技术的发展方向之一。文中首先介绍电子稳像的基本流程,随后使用SIFT提取图像中的特征点,以解决图像中存在缩放的问题。在经过运动一致性估计后计算运动参数,并使用Kalman滤波得到各帧的修正矢量。实验结果表明该方法能有效地去除随机运动分量而保持意向运动分量,得到稳定的视频。

固定场景下快速电子稳像算法的实现

提出一种可应用在固定场景条件下的快速电子稳像算法。通过检测参考图像与当前图像的ORB特征,利用汉明距离匹配特征,将匹配好的特征点代入仿射变换模型,求得2幅图像间的全局运动矢量并代入仿射变换模型,对当前图像进行变换,从而实现稳像目的。为达到更好的稳像效果,在图像预处理阶段对图像进行高斯滤波,滤除图像的噪声;同时对在求得全局运动矢量使用的特征点对的选择上采用点线法进行判定,保证求得全局运动矢量的精度。实验结果表明,该算法能够实现在固定场景下的稳像,并具有较好的实时性。

电子稳像的特征点跟踪算法

提出一种利用特征跟踪进行电子稳像的算法,该算法具有计算量小,精度高,有鲁棒性等优点。算法由两部分构成:(1)基于特征点集二维运动模型进行全局运动估计。提取图像的特征点,以其为中心建立特征窗进行块匹配,得到匹配特征点集,根据特征点集内具有稳定相对位置的结构特征,提出距离不变准则,对特征匹配进行验证,以保证各点的局部运动具有良好的全局一致性,从而形成特征点集的全局运动矢量;(2)利用自适应均值滤波去除摄像机抖动。均值滤波器可以有效平滑摄像机的高频抖动,同时滤波器尺寸自适应地根据抖动频率来调整大小,能够防止过稳或欠稳。实验结果表明,该算法能够有效减轻摄像机的旋转和平移抖动。

电子稳像中基于运动分类的全局运动估计算法

提出一种基于运动分类的全局运动估计算法.首先,分区提取图像中的鲁棒Harris特征点,并采用特征窗匹配思路,提高匹配速度;其次,对运动矢量在平移、旋转和缩放模式下的统计特性进行分析,提出运动类型快速判定方法,并验证特征点的有效性;再次,将有效点对代入运动方程,求取全局运动参数;最后,结合Kalman滤波来补偿当前帧实现视频稳像.实验结果表明,该算法能够处理含摄像机扫描和抖动的复杂场景,检测误差小于0.5像素,且达到实时处理.

基于B-SURF算法的图像运动估计

序列图像的运动矢量估计在电子稳像系统及图像超分辨率重建过程中都非常重要,传统的运动矢量估计算法大多需要提取相邻序列图像特征,根据相邻序列图像的特征点进行运动矢量估计,耗时相对较多,且难以达到实时性的要求.故提出并实现了一种基于SURF特征提取算法和BRIEF特征描述算子的运动估计方法:B-SURF方法,使用SURF特征提取算法思想对图像进行特征提取,采用BRIEF特征描述算子对检测到的特征点进行特征描述.由于引入了二进制编码,极大的降低了特征描述和匹配的计算量,提高了运动估计的计算速度,使算法能满足实时性需求.实验表明,实现方法在运算速度上有明显提升.