A survey on image and video stitching

Image/video stitching is a technology for solving the field of view(FOV)limitation of images/videos.It stitches multiple overlapping images/videos to generate a wide-FOV image/video,and has been used in various fields such as sports broadcasting,video surveillance,street view,and entertainment.This survey reviews image/video stitching algorithms,with a particular focus on those developed in recent years.Image stitching first calculates the corresponding relationships between multiple overlapping images,deforms and aligns the matched images,and then blends the aligned images to generate a wide-FOV image.A seamless method is always adopted to eliminate such potential flaws as ghosting and blurring caused by parallax or objects moving across the overlapping regions.Video stitching is the further extension of image stitching.It usually stitches selected frames of original videos to generate a stitching template by performing image stitching algorithms,and the subsequent frames can then be stitched according to the template.Video stitching is more complicated with moving objects or violent camera movement,because these factors introduce jitter,shakiness,ghosting,and blurring.Foreground detection technique is usually combined into stitching to eliminate ghosting and blurring,while video stabilization algorithms are adopted to solve the jitter and shakiness.This paper further discusses panoramic stitching as a special-extension of image/video stitching.Panoramic stitching is currently the most widely used application in stitching.This survey reviews the latest image/video stitching methods,and introduces the fundamental principles/advantages/weaknesses of image/video stitching algorithms.Image/video stitching faces long-term challenges such as wide baseline,large parallax,and low-texture problem in the overlapping region.New technologies may present new opportunities to address these issues,such as deep learning-based semantic correspondence,and 3D image stitching.Finally,this survey discusses the challenges of image/video stitching and proposes potential solutions.

基于国产FPGA的多源视频信号拼接系统设计

针对目前视频拼接技术存在动态视频数据速度慢、分辨率较低的问题,设计了一种能够将两路摄像头和两路高清晰度多媒体接口(high definition multimedia interface,HDMI)输入的动态视频数据进行拼接处理的系统。系统以紫光同创公司Pango logos系列现场可编程门阵列(field programmable gate array,FPGA)器件为核心,由时钟控制、寄存器配置、数据采集、先进先出(first in first out,FIFO)数据存储控制、第3代双倍速率同步动态随机存储(double-data-rate 3 synchronous dynamic RAM,DDR3 SDRAM)等逻辑功能模块组成。设计实现了DDR3 IP核的读写控制、图像缩放及视频拼接算法,使用Inserter和Debugger对主要功能模块进行了仿真测试,并进行了视频采集实验,结果表明,系统能够完成4路动态视频的拼接显示,分辨率达到1920×1080,刷新速率为60 fps,占用的查找表(look up table,LUT)资源为18%。支持多种动态数据输入方式,具有便携性好、帧率分辨率高、片上资源占用率低等特点,可用于动态视频拼接的应用场景。

基于图像拼接技术的动漫视频生成方法

针对在动漫图像拼接过程中出现的运算量大、速度慢、特征点提取精度低、维度高以及图像拼接效果差等问题,研究基于图像拼接技术的动漫视频生成方法。通过均值滤波预处理动漫图像,去除图像中的噪声和干扰后,采用加速稳健特征(SURF)算法提取滤波后动漫图像的特征点,经边缘相似匹配法完成图像特征点匹配后,利用加权平滑算法融合匹配后的图像,获得全景图,并将其导入Maya软件生成动漫视频。试验表明:该方法提取特征点精度高、维度低、运算量小、速度快,图像拼接效果清晰、连接紧密、过渡自然、没有色差,生成的动漫视频可以达到更加精美逼真的视觉效果。

基于相机参数标定的全景监控影像拼接方法

为了提高全景监控视频的实时性,本文提出了一种基于相机标定参数的图像拼接方法。为了获取360°全景图像,该方法采用了6个固定角度的摄像头,并通过棋盘格标定板对摄像头的内外参数进行精准标定,构建出6个相机坐标系与世界坐标系的关系模型。然后通过球面投影模型,将画面投影到拼接平面上,最终达到全景监控画面的拼接效果。另外,为了更好地减少相机受外力干扰的影响,我们引入了一种参数维护机制。通过低功耗嵌入式平台和拼接服务器相结合的实验,表明该方法能够有效地提高图像拼接的速度和精度,不受环境光照条件和特征点匹配的影响,适用于无特征点或环境变化大的场景下的实时图像拼接。

全景视频拼接技术在智能化综采工作面的应用

打破解决采煤工作面地面远程操控生产技术壁垒,保证地面远程操控生产期间安全、高效、可视化,文章基于智能化开采技术,介绍了全景视频拼接技术的技术特点、建设效果及其在综采工作面的应用和取得的效果。

全景视频实时拼接技术研究与实现

随着无人领域的不断发展,对于无人机、无人车、汽车辅助驾驶等操控者来说,需要通过无死角的全景视频进行操作,否则无法掌握无人设备完整的视野情况。通过TP2854视频数据转换芯片将AHD摄像头捕捉多路模拟视频数据转换为数字信号给处理器,再通过SURF算法和FLANN算法进行图像的特征点检测与向量计算、图像匹配、单应性矩阵计算和图像融合,最终将融合的图片数据编码和推流,实现全景视频的拼接。重点对图像融合算法不断改进,实现全景图像无拼缝、无阴影的效果。

基于SURF和动态ROI的实时视频拼接

为解决含有运动物体的视频拼接问题及解决不同景深下的目标拼接等此类问题,提出一种基于SURF和动态ROI方法的双目摄像机视频图像快速拼接方法。通过RANSAC方法与单应性矩阵平滑方法估计双目摄像头视频图像变换模型,融合成宽场景的视频图像。由于选取了动态ROI之后不进行重叠区域之外的SURF特征提取,提高了特征匹配的精准度,避免了ROI之外的误匹配特征点对,同时减少了程序的耗时。大量的实验结果表明,该系统能够自适应的对双目摄像头采集的图像进行视频拼接,获得清晰的宽场景视频。

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT(Scale Invariant Feature Transform,即尺度不变特征变换)特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。

实时全自动视频拼接方法

在视频拼接中,配准的误差和运动物体都会给拼接结果带来鬼影,简单的融合方法会带来图像高频内容的丢失,复杂的融合算法则难以满足实时性。针对上述问题,使用一种改进的快速检测Harris算子以及改进的RANSAC算法来减少图像配准误差,结合捆绑调整进行全局调整,并提出新的融合方法。通过对重叠区域边界的求取和形态学腐蚀运算,确定需要融合的像素,结合三角函数作为权值来进行融合。大量的实验结果表明,该方法具有良好的实时拼接效果。

固定多摄像头的视频拼接技术

视频拼接技术是计算机图形学和计算机视觉的重要分支,它的发展基于静态图像的拼接技术,但由于视频信息的复杂性,视频拼接也有区别于图像拼接,针对实际运用中的实时拼接的需要,本文提出了一种基于控制帧的固定摄像头视频拼接方法。首先采集控制帧图像,对摄像头进行参数标定获得相机内参和光心坐标,再使用一种改进的畸变矫正方法去除摄像头畸变带来的成像失真。然后对控制帧图像进行SIFT特征提取并进行粗匹配,再用RANSAC的方法剔除误匹配点并拟合出图像变换单应阵。最后使用查表法将各摄像头的图像同步投影到大场景图片上,对重合区域进行光亮补偿和多带融合。最终实现速度可达25帧/秒的实时视频拼接。

基于改进加权算法的实时图像数据融合研究

在三维重建、多维数据融合和信息可视化分析等领域中,针对实时视频图像数据拼接融合的过程中常出现的拼接缝隙问题,提出了一种改进的加权融合实时图像拼接方法.该方法将视频拼接问题转化为视频对应帧图像的融合问题,通过利用SURF算法对特征数据点进行提取与匹配,对图像使用RANSAC算法和LM算法求其几何变换矩阵,再根据变换矩阵进行图像插值拼接,对拼接线区域图像内容进行加权处理完成视频图像融合.在进行图像融合处理时,提出了基于拼接线一侧加权融合和基于原图内容的加权融合算法.实验结果表明:该方法实现的拼接融合速度快、效果较好,适用于对速度和拼接效果均有要求的场景视频拼接和实时数据呈现.

融合图像语义的动态视频拼接方法

针对当前视频拼接方法仅考虑图像低阶几何特征而没有考虑图像高阶语义特征的问题,提出融合图像高阶语义信息的视频拼接方法,并采用多线程编程方式提高拼接速度。主要贡献包括:(1)自适应动态视频拼接系统框架;(2)融合语义的高效特征匹配算法;(3)融合语义的视频拼接质量评价算法。为验证提出算法的有效性,使用车载摄像机在校园环境内进行动态视频拼接实车实验。实验结果显示,相比于传统方法,该匹配算法正确率提升了50%左右,拼接评价算法更符合人眼视觉,方法的拼接质量提升了25%左右,具有较高的鲁棒性与准确性。

基于SIFT算法的大场景视频拼接算法及优化

目前大量的由独立视频设备获取的小场景视频信息难以满足大场景下信息处理的要求,而通过多设备人工查阅的方式又存在效率低下、信息冗余和碎片化等问题。文中研究了大场景视频拼接技术,利用SIFT算法的尺度不变特性对关键点进行特征匹配,通过仿射矩阵变形完成对图像的拼接工作。在此过程中,对传统的SIFT拼接算法进行进一步的优化,主要是基于距离的优化算法来完善视频拼接的效果;对SIFT特征点匹配、加权优化算法、关键帧提取的技术等进行并行加速,以提高拼接效率。实验结果表明,提出的优化方法能更好地提取视频中的关键信息,以实现更好的视频拼接效果。在视觉效果上,所提方法得到的拼接结果中不存在传统方法出现的两幅图像的交接线。此外,在MATLAB环境下分别对关键点检测和拼接部分进行了加速优化,优化后的关键点检测效率提高了约20%,拼接部分的效率提高了将近57%。在C++环境下,关键点的检测效率提升了14%,拼接部分的检测效率提升了40%。

带显著性区域约束的高效视频全景拼接方法

传统的基于流形的全景拼接技术在处理包含局部运动的视频时,存在不能保留特定关键区域的内容、表达视频运动信息的能力较差以及实现速度较慢的问题.针对上述问题,提出了一种带显著性区域约束的高效视频全景拼接方法,该方法在基于流形的视频拼接的基础上考虑图像的特征点,通过设定显著性区域,生成关键帧带约束的全景图;然后对关键帧全景图进行对齐及融合,构建运动全景图;并采用基于CUDA的并行计算方法进行算法加速.实验结果表明:该方法不仅可以在全景图中保留特定对象某一时刻的具体形态,而且可以保留运动对象多个运动形态,并且有较快的拼接速度.

基于改进SURF的实时视频拼接方法

视频拼接在现实生活中具有十分重要的意义。文中实现的功能是实时地将多路视频进行拼接以形成一个大视野的视频。为了使系统具有良好的实时性,先用DirectShow分离视频流、提取图像帧,然后提出了一种改进的SURF算法进行图像配准,最后采用渐入渐出法进行图像融合。改进的算法在特征点提取时对范围作了限制,同时改进了原有特征描述符,这样可以大大加快提取速度。在特征匹配时采用基于最近邻和次近邻距离比值的方法进行粗匹配,然后采用RANSAC方法进行提纯和求取变换矩阵,最后在视频拼接中,不是对每一帧图像进行配准和融合,而是只对首帧图像进行图像配准,之后的每帧图像利用第一帧计算出的变换矩阵进行图像拼接,这样可以加快视频拼接的速度。实验结果表明,该方法可以实时地生成无缝清晰的宽场景视频。

基于SURF和改进RANSAC的视频拼接算法

在传统的视频拼接算法中,配准的误差和运动的物体都会使拼接结果产生鬼影,而复杂的融合算法又难以满足实时性要求。针对上述问题,以平行光轴且光心位于同一水平基线位置的双目相机采集的视频图像为研究对象,提出一种基于限定区域和SURF算法的视频拼接方法。针对采集到的具有20%~30%重叠感兴趣区域（ROI）的视频图像,每24帧设置一个关键帧,仅对关键帧的ROI区域采用SURF算法寻找特征匹配点对。然后采用改进的RANSAC算法筛选单应性变换矩阵H,对非关键帧直接采用此单应性变换矩阵H进行图像融合。实验结果表明,采用关键帧计算特征点的方式得到的视频拼接效果能够很好地消除鬼影,同时也能够保证视频融合的实时性。

基于CUDA的多相机实时高清视频无缝拼接方法

为解决传统CPU或GPU多相机视频拼接方法难以兼顾实时性与视觉效果,提出一种基于统一设备架构GUDA(Compute Unified Device Architecture)的实时无缝拼接方法。结合图割算法预处理的静态接缝掩模和图像空间域融合算法解决了运动物体给拼接中接缝处带来的视觉困扰,同时重点对透视变换、图像融合等拼接步骤在CUDA实现中的优化策略进行研究。实验结果表明,该方法在4路1080p高清网络相机实时拼接获得超宽视野视频的条件下,不仅相对CPU有较高的加速比,而且在不同计算性能和架构的GPU上均满足实时性要求并具备更好的视觉效果。

多路高清YUV视频GPU实时拼接研究

为提高高清视频拼接的实时性能,提出一种基于GPU的多路高清YUV视频实时拼接方法,推导出YUV422图像拼接中的透视模型,并结合计算统一设备架构技术,实现透视变换、无缝融合等关键拼接步骤在GPU上的并行优化。在4路1080p高清视频上的实验结果表明,相比基于RGB颜色模型的拼接方法,该方法的实时拼接性能在不同GPU架构上有20%~40%的提升,并且在GRX780上能达到33 frame/s的视频帧率。

全景视图泊车辅助系统中的多视点视频拼接

为了满足全景视图泊车辅助系统中视频拼接的实时性要求,文中提出了一种基于特定图像拼接与查表法相结合的多视点视频拼接方法。在初始化阶段,首先用4个放置于车辆前、后、左、右4个方位的摄像头采集标定图像,分别对4个摄像头进行参数标定,矫正摄像头畸变带来的成像失真,并保存摄像头相关参数;然后对矫正后的标定图像进行射影变换,求解并保存射影变换参数;接着采集4个方位的特定图像,并通过查找摄像头参数进行图像畸变矫正,通过查找射影变换参数将矫正后的特定图像变换成俯瞰图;最后对4个俯瞰图进行图像配准,求解并保存单应性矩阵参数,经图像融合和拼接生成全景视图。在泊车辅助系统启用期间,通过查找已保存的摄像头参数、射影变换参数以及单应性矩阵参数,将4个摄像头的视频图像进行拼接,生成虚拟的俯瞰全景视图。实验结果表明,文中提出的方法适用于实时性要求较高的多视点视频拼接。

基于嵌入式的实时视频采集与拼接系统的设计

视频拼接在日常生活中有着广泛的应用。提出了一种基于Linux和Open CV的嵌入式实时视频采集和拼接系统设计方案。该系统采用Tiny4412四核处理器,通过两个摄像头实时采集图像数据,然后结合Open CV库利用改进的算法对两幅具有重叠区域的图像进行拼接处理,包括特征匹配和图像融合处理,生成拼接图像,最后把拼接图像在LCD上实时显示。实验结果表明,采取的算法能够适应多种环境,很好的抑制鬼影,并且拼接速度能够达到实时系统的要求。