基于深度学习的图像匹配:方法、应用与挑战

图像匹配旨在建立图像之间的点对应关系,是许多计算机视觉任务的关键环节.近年来,随着深度学习技术的发展,图像匹配方法已从以手工设计特征为主转变为基于深度网络的方法,基于深度学习的图像匹配方法在多个标准数据集上展现出卓越的性能,推动着多个相关应用的发展围绕图像匹配涉及的若干关键问题,如:特征点检测、特征点描述、稠密点匹配、误匹配去除,本文对深度学习图像匹配方法进行了系统性总结.首先分析了领域内基于深度学习的典型方法和关键技术,随后介绍了与图像匹配密切相关的几个典型应用并给出其现状分析,最后,根据对图像匹配领域技术发展的分析总结,结合作者在该领域的长期研究积累,本文给出了目前图像匹配所面临的主要挑战以及未来发展趋势。

基于几何矩特征与纹理度量的图像匹配算法

为提高多种几何内容变化下的特征点匹配准确度,引入双边滤波器,设计了几何矩特征耦合纹理度量的图像匹配算法。引入双边滤波器,对图像进行预处理,以去除图像中噪声,接着利用Hessian算子,准确检测图像特征。利用图像灰度信息,计算图像特征圆域内的几何矩,以形成鲁棒性较强的特征向量。通过平均梯度模型,对特征点邻域的纹理特征进行度量,并将其联合欧氏测量结果,对图像特征实施匹配。借助互相关模型,对匹配特征的相关程度进行测量,以检测特征点的匹配正确性,优化特征匹配结果。实验数据表明:较当前特征匹配方法而言,在多种几何内容变化下,所提技术具有更高的匹配准确度与鲁棒性。

基于视觉传达技术的激光成像雷达图像匹配系统

为增强激光成像雷达图像,提升激光成像雷达图像匹配效果,设计基于视觉传达技术的激光成像雷达图像匹配系统。获取激光成像雷达图像,经视觉传达技术中优化后的Retinex增强算法完成图像增强处理后,使用SIFT和旋转不变LBP方法获取关键点和关键点四周区域旋转不变LBP特征,根据关键点相似度判定等实现激光成像雷达图像匹配。实验结果证明:所提系统的峰值信噪比最高为47 dB,结构相似度最高达到0.92;图像特征点匹配精度最高为97%,匹配速度最快为3.6 s,该系统增强了激光成像雷达图像质量,能够高精度实现激光成像雷达图像匹配,为实际工作提供可靠依据与参考。

基于改进ORB算法的遥感图像匹配

针对遥感图像匹配中存在的误匹配率高、匹配速度慢等问题,结合相似图像局部结构一致的思想,提出一种将ORB特征提取算子与BRISK特征描述算子相结合的遥感图像匹配算法。首先使用ORB算法的特征点提取算子对特征点进行检测,再使用BRISK算法的特征点描述算子对检测到的特征点建立特征描述符,然后基于汉明距离使用暴力匹配完成特征点匹配,最后使用LPM算法剔除错误匹配点。实验结果表明:本文算法提取的特征点数量、匹配精确度和运行速度都满足遥感图像匹配的要求;相较于ORB、BRISK算法,做到了速度和精度的较好平衡,展现出了良好的匹配性能。

基于中心对称特征耦合仿射度量模型的图像匹配方法

针对当下较多图像匹配算法利用距离度量法来实现特征匹配,没考虑图像仿射变换的影响,使得匹配结果准确率不高的问题,提出了中心对称特征耦合仿射度量模型的图像匹配算法。首先,引入Forstner算子,利用像素点的GS梯度特征提取特征点;然后,利用图像的Haar小波信息与中心对称像素点的灰度值,求取特征向量;接着,利用特征点之间的旋转、平移以及缩放的仿射特征,构造仿射度量模型,利用其计算出匹配的特征点对;最后,采用结构相似度(SSIM)函数,计算匹配点对的结构相似性,对匹配点对去伪求真,以求取最优匹配效果。实验结果表明,与当下匹配方法相比,所提算法不仅能更准确地实现图像匹配,而且还能够更好地适应具有仿射变换关系图像之间的匹配。

基于非参数模型预处理的图像匹配算法

为了提升数据集低内点率时RANSAC图像匹配的准确性和运行效率,提出了基于非参数模型预处理的图像匹配算法。该算法通过基于非参数模型的快速图像匹配方法对匹配点集预处理,依据特点选择网格运动平滑约束和局部保持的图像匹配方法,以及使用预处理的数据集和RANSAC图像匹配方法估计图像变换关系。使用牛津大学公开数据集对比测试,结果表明:在前端引入基于非参数模型的快速图像比配方法,不仅能提升RANSAC图像匹配的准确性,而且加快其运行速度。

基于改进SURF的增强现实图像匹配方法

针对传统增强现实图像匹配算法鲁棒性不强且效率不高的问题,提出一种改进的SURF匹配算法。首先,使用SURF算法进行特征点检测,并通过Haar小波模板确定特征主方向,在得到特征主方向后构建特征描述符;由于传统SURF算法采用高达64维的矩形描述符,导致算法的计算量非常大,并且鲁棒性不强。因此,该文使用DAISY圆形描述符替代原始算法中的矩形描述符,DAISY是三层同心圆结构,每层包含8个采样点,可以得到25个维度的描述符,这种结构使得算法的鲁棒性大大增强并且降低了计算复杂度;接着,使用特征描述符计算欧氏距离进行特征点匹配;最后,对得到的匹配点集使用随机抽样一致(RANSAC)与三角不规则网络(TIN)算法进行优化,剔除误匹配点。实验结果表明,该算法虽然略微增加了时间复杂度,但鲁棒性变得更强,并且算法的效率和匹配精度也大大提高,平均精度达到了95%以上。

具有局部自适应阈值的SIFT快速图像匹配算法

针对传统SIFT匹配算法复杂、特征冗余点多、难以满足实时性等问题,本文提出了一种具有局部自适应阈值的SIFT快速图像匹配算法。首先,所提方法在SIFT算法的基础上,对构建的高斯金字塔进行了优化,通过减少金字塔层数来消除冗余特征点以提高检测效率,并根据图像局部对比度来自适应提取FAST算法中的阈值从而实现高质量的特征点检测,筛选出鲁棒性较强的特征点进行更准确的匹配;其次,采用高斯圆形窗口建立32维降维特征向量,提高算法运行效率;最后,根据匹配特征点对之间的几何一致性对特征点进行提纯,有效减少误匹配。实验结果表明,本文方法在匹配精度和运算效率方面的综合表现均优于SIFT算法及其他对比匹配算法,相比传统的SIFT算法,匹配精度提高了约10%,算法运行时间缩短了约49%。在图像发生尺度、旋转以及光照变化的情况下,正确匹配率在93%以上。

基于质量扰动鹈鹕优化算法的图像匹配方法研究

针对传统群优化算法在图像匹配中存在调节参数多、不易操作等问题,提出了一种基于质量扰动的鹈鹕优化算法(disturbance quality pelican optimization algorithm,DPOA)的图像匹配方法。传统的鹈鹕优化算法(pelican optimization algorithm,POA)在求解多峰函数问题时,其全局收敛性需要进一步改进。首先,引入了一种新的质量扰动方法,通过检测分布点附近的点来收敛到更好的解,提高了在解决多峰函数问题时易陷入局部最优的问题,同时提高了算法的收敛精度。其次,通过数据集CEC2019对算法的有效性进行评价。最后,通过提取图像的方向梯度直方图(histogram of oriented gradient,HOG)将DPOA算法在图像匹配中应用,并通过实验仿真,证明了DPOA算法在图像匹配中的可行性与有效性。

基于稀疏和稠密图像匹配与对极约束的树高提取改进算法

树高是监测森林状况的重要参数,摄影测量法具有低成本、灵活的特性,是树高采集的重要方法之一.作为一种被动遥感方式,传统的摄影测量方法往往需要数量较多,重叠率较高的图像数据,这与传统图像特征的稀疏性有关.为了提高图像数量受限条件下的树高提取精度,提出将稀疏特征匹配和稠密像素匹配相结合,并使用对极约束过滤外点的方法,得到稠密且精度较高的匹配结果,并通过三维重建算法得到森林场景点云.该方法在少量图像的情况下就可以较为完整地重建森林场景并提取树高,将提取的树高与机载激光雷达(light detection and ranging,LiDAR)点云的结果进行对比,相关系数为0.91,最大误差为1.64 m.该算法只需要少量的重叠图像,这表明了该算法在处理高分辨率卫星图像方面具有一定潜力.

面向涡轮叶片变形测量的旋转适应性图像匹配方法研究

研究了超临界二氧化碳涡轮发电系统叶片在工作情况下的变形测量方法。对于叶片变形测量可采用三维数字图像相关法技术路线(3D-DIC),但是需要解决由于叶片切向变形和相机触发误差引起的区域旋转图像的匹配问题(2D-DIC部分)。针对旋转图像的匹配问题,采用了一种旋转适应性图像匹配方法,对于检测点的初值搜索采用基于ORB特征的初值匹配方法,对于检测点的亚像素匹配采用基于反向组合高斯牛顿法(IC-GN)亚像素匹配方法。最终利用旋转-应变图像进行仿真,应变测量精度达到2%,验证了图像匹配方法对于涡轮叶片变形测量的适应性。

基于分离信息熵的红外图像匹配方法

利用红外图像匹配方法实现对目标的有效识别是现代战争中实现精确打击的主要手段。为了实现红外图像高性能匹配,文章提出了采用图像预处理的方法增强图像中的细节信息,通过互信息熵实现图像匹配,设计了由粗匹配到精匹配的算法流程,实现了算法的加速;通过将图像信息贫乏区进行分离处理的方法,优化了图像匹配算法的性能。实验结果表明,在进行红外图像匹配时,算法实时性和正确性得到有效提高。

基于卫星图像匹配的巡检无人机地面三维目标自动定位方法

无人机降低飞行高度以节省时间或扩展航程,会导致航片相幅减小、预测与真实位置重叠不足。为此,文章研究了基于卫星图像匹配的巡检无人机地面三维目标自动定位方法。首先获取无人机相机姿态数据,为后续处理提供基础;然后转换三维目标信息,提取三维目标特征,深度分析无人机图像;最后利用卫星图像匹配特征实现定位,精准匹配无人机与卫星图像,实现自动定位。实验证明,该方法定位性能优于对比方法,具有较高的准确性和稳定性。

基于改进SIFT特征和极坐标的图像匹配定位研究

为解决图像配准过程中因图像旋转及缩放导致匹配误差较大的问题,提出了一种基于对数极坐标和改进的SIFT相结合的匹配算法。首先,通过对数极坐标变换方法进行图像粗匹配,实现对待匹配图像旋转及尺度的估计;其次,在粗匹配的基础上,利用信息熵原理提取子块的特征描述符;最后,利用欧氏距离进行匹配度量,完成图像配准,利用图像变换模型实现两幅图像中相同区域目标的匹配定位。实验结果表明,该算法能够实现两幅图像的高精度匹配与目标定位。

基于深度学习特征的二维图像匹配算法综述

图像匹配的目标是从两个或多个图像中找到相似结构之间的对应关系,是计算机视觉技术的重要基础,在机器人、遥感、自动驾驶等领域具有广泛应用。近年来随着深度学习技术的发展,基于深度学习的二维(2D)图像匹配算法在特征提取、特征描述、特征匹配3个方面不断进行改进,其性能在匹配精度、鲁棒性等方面远超传统算法,取得了重大突破。首先,总结近10年基于深度学习特征的2D图像匹配算法,将其分为基于局部特征的双阶段图像匹配、联合特征检测和描述的图像匹配、无特征检测的图像匹配3类算法,阐述这3类算法的发展过程、分类方法、性能评价指标并归纳其优点及局限性。然后,介绍2D图像匹配算法的典型应用场景,分析2D图像匹配算法的研究进展对其应用领域的影响。最后,总结并展望2D图像匹配算法的发展趋势。

融合特征的红外与可见光异源图像匹配

当前红外和可见光图像配准未考虑灰度、空间的位置情况,匹配结果的平均归一化修正检索秩(A_(r))较高。因此,提出融合特征的红外与可见光异源图像匹配算法。分析待匹配图像的中矩形区域灰度差值特征,绘制Haar特征密度分布图,并基于此实现图像滤波。通过离散变换(K-L)提取滤波后图像灰度特征、像素密度特征和纹理特征,完成多图像特征的压缩与融合。基于融合特征,计算待匹配红外图像与可见光图像的格贴近度,得到异源图像匹配结果。实验结果表明:所提方法应用后,异源图像匹配结果的A_(r)平均值仅为0.35,更好地满足了图像匹配要求。

基于AGAST-BRIEF的图像匹配融合算法

针对传统算法AGAST在图像处于复杂场景条件下进行图像检测时,造成图像匹配结果精度低和实时性差等问题,提出一种基于AGAST-BRIEF的图像匹配融合算法。首先,利用高斯滤波对图像进行预处理,实现去除图像噪声干扰,保留图像边缘信息的效果,通过AGAST与尺度空间理论相结合进行特征提取;然后,使用BRIEF描述子对图像中的关键点进行描述,提高特征匹配效率;最后,采用FLANN算法得到初次匹配对,使用GMS与改进的RANSAC算法对初次匹配结果进行二次筛选,得到图像特征精匹配。实验结果表明:所提算法相较于SIFT、AKAZE、KAZE算法匹配准确率提高,匹配运行时间最短,具有良好的鲁棒性。

基于知识库与全景图像匹配算法的母线保护装置故障三维分级检测方法

研究了基于知识库与全景图像匹配算法的母线保护装置故障三维分级检测方法,合理检测母线保护装置故障,保障母线保护装置安全稳定运行。将失败案例、故障排除手册等信息作为知识库构建层级的理论依据,设计关系型知识;通过全景图像采集、特征提取与匹配等操作设计三维模型索引知识,构建母线保护装置知识库;在推理机中引入模糊假言推理算法,获取相应的故障诊断结果;在三维可视化层级中使用PHP语言,搭建Web服务器,设计三维可视化后端程序,呈现故障检测的三维可视化结果。实验结果表明:该方法可有效实现母线保护装置故障的三维分级检测,故障检测结果与实际故障状况一致,可更好地满足实际工作需要。

基于OFAST和BRISK特征耦合三重过滤策略的图像匹配算法

为了在不牺牲性能的前提下提高图像匹配算法的检测速度,提出一种组合式的OFAST和BRISK耦合三重过滤策略的图像特征点匹配算法。首先利用OFAST算法提取特征点,采用BRISK特征描述算法计算描述子,之后使用暴力匹配方法计算汉明距离,结合最小距离过滤法对匹配点对进行预筛选,在使用PROSAC算法前通过向量的余弦相似度消除误匹配特征点,优化匹配结果实现图像的准确匹配。反复实验结果证明,该算法能够很好地适应图像的旋转、模糊、尺度变换,保证了匹配过程的运算开销,具有较好的实时性和准确性,解决了误匹配率高和鲁棒性差的问题。

基于SIFT改进的无人机图像匹配算法

针对无人机图像匹配时间较长的问题,提出了一种基于SIFT改进的无人机图像匹配算法。引入了FAST算法检测角点,它能快速通过比较中心像素点和一定领域内像元的灰度值以判断是否为角点,从而提高算法的速度。同时,为了弥补FAST算法在高斯差分金字塔上搜索的不足,使用了基于Ostu和GA的图像分割算法对图像进行分割,对分割图像构建高斯金字塔,在高斯金字塔上进行特征点搜索。实验结果表明,与传统的SIFT算法相比,改进算法提高了无人机图像匹配的速率和正确率。