有约束Patch-Match框架下的非刚体匹配算法

目的非刚性物体进行匹配时,往往需要对图像中存在的非刚性形变目标进行快速精确的配准,进而实现对图像的后续处理和分析,实现快速而准确的非刚体匹配显得尤为重要。针对传统特征点匹配方法在非刚性物体匹配中准确性差的问题,本文提出了一种基于DAISY算子和有约束Patch-Match的非刚体密集匹配算法。方法首先对参考图像和待匹配图像生成DAISY特征描述子,其次对两幅图像进行超像素分割,形成相互邻接但没有重叠的超像素块结构,并以其为单元,计算初始位置上对应每一个像素的DAISY特征算子聚合代价。然后,采用Patch-Match算法对整幅图像进行传播和变异,在变异过程中,通过图像预处理和分析得到的先验知识对位置标签的变异窗口进行局部空间约束,使得每个像素的位置标签在该空间范围内随机更新,计算新的聚合代价,保留代价较小的位置标签,重复迭代此过程,直到聚合代价不发生变化或者达到最大迭代次数为止。结果实验选取了标准数据集、10幅分别由TFDS(the trucking fault dynamic image detection system)线阵列相机和框幅式相机采集的包含非刚体的图像进行匹配,均取得了较好的匹配效果,经验证,本文方法的匹配精度为86%,误匹配点的平均匹配误差为5个像素左右,是传统基于SIFT特征光流匹配方法误差的一半,并且本文采用的DAISY算子在特征提取速度上是Dense SIFT(dense scale invariant feature transform)特征提取算法的2 3倍,大大提升了图像匹配的效率。结论本文提出了一种非刚体密集匹配算法,针对非刚体变化的不确定性采用密集特征点进行最优化搜索匹配。本文算法对包含小范围非刚性变化的图像匹配上具有较好的适应性,且匹配精度高,视觉效果好,鲁棒性强。

基于遮挡优化的金字塔块匹配光流估计方法

针对现有光流计算方法在大位移和运动遮挡等场景下光流估计的准确性与鲁棒性问题,提出一种基于遮挡优化的金字塔块匹配光流估计方法.首先利用金字塔块匹配模型得到初始匹配运动场,构造遮挡检测模型优化匹配运动场,去除初始匹配运动场包含的误匹配点以获取鲁棒稀疏运动场;然后设计边缘约束的鲁棒插值算法获取稠密光流场,并构建全局能量泛函解决局部最优问题,得到最终的鲁棒稠密光流场.最后分别利用Middlebury、MPI-Sintel和KITTI数据集提供的测试图像序列对本文方法和具有代表性的变分光流估计方法、匹配插值光流估计方法、卷积神经网络光流估计方法进行对比分析.实验结果表明本文方法对大位移和运动遮挡场景光流估计的准确性与鲁棒性具有明显的提升效果.

基于参考图像的超分辨率重建算法综述

单帧图像超分辨率重建是指从低分辨率图像重建出高分辨率图像的过程,是一类典型的不适定性问题。近期出现一种新的重建思路:将已有的高分辨率图像作为参考,利用参考图中丰富的纹理来补偿低分辨率图像缺失的细节信息,从而缓解单帧图像超分辨重建的不适定性。这种基于参考图的超分辨率重建,与普通的单帧重建不同,除输入低分辨率图像外,还需额外输入一张或多张与低分辨率图像内容或纹理相似的高分辨率参考图像。尽管该重建思路的相关研究开展时间较短,但也涌现出了很多先进的重建算法,因此急需对这些方法做一个全面的梳理。在分析和借鉴相关研究成果的基础上,从基于图像对齐的方法和基于图像块匹配的方法入手,对近年来出现的新方法进行综述性介绍,并探讨其未来的发展方向,以期抛砖引玉,为该领域的后续研究提供有益参考。

基于图像块SIFT特征学习的多源遥感图像匹配方法

对于多源遥感图像因成像原理、时相差异以及分辨率等因素导致的匹配困难问题,提出了一种基于图像块SIFT特征学习的多源遥感图像匹配方法。首先,通过尺度不变特征变化(scale-invariant feature transform,SIFT)提取图像特征点并截取对应的图像块对;其次,利用多源遥感图像匹配网络(matching nerul network,MNN)学习图像块特征并输出匹配点对,结合快速样本一致性(fast sample consensus,FSC)方法优化匹配结果;最后,计算图像变换矩阵实现多源遥感图像配准。为验证本文方法的有效性,制作了8000对多源遥感图像数据集对MNN进行网络训练,并与FSC-SIFT(fast sample consensus-scale-invariant feature transform)、PSO-SIFT(position scale orientation-scale-invariant feature transform)以及跨模态图像匹配网络Contextdesc进行对比实验,结果表明本文方法在正确匹配点数量、匹配精度等方面具有一定优越性。

联合块匹配与稀疏表示的卫星云图修复

针对卫星云图在接收及传输过程中受噪声、大气湍流、太阳风暴及卫星轨道漂移等影响造成的云图数据破损,提出了一种联合块匹配与稀疏表示的卫星云图修复方法。首先,根据破损区域的优先权值确定待修复像素,对该像素的邻域进行分块处理。然后,利用待修复块与各匹配块之间的结构相似度,建立相应的冗余字典;通过求解稀疏表示问题修复该破损区域。最后,沿着等照度线不断更新优先权值,实现整幅图像的修复。实验结果表明,提出的方法不仅能避免传统偏微分方程(PDE)修复法所导致的结构丢失,也能很好地改善基于纹理填充修复方法所导致的修复不足及块效应现象。测试结果显示:在云图存在局部区域缺失时,修复后云图的峰值信噪比(PSNR)比匹配追踪法及总变分法的修复结果平均提高了8.50dB和0.28dB,而且在纹理细节及边缘区域具有更好的视觉效果。

过套管补贴技术研究与应用

针对膨胀管补贴后的套管段内径变小,无法实现该处套管以下套损部位补贴的问题提出过套管补贴技术。该技术使用活塞液压缸作为动力系统,液力锚定器作为锚定系统,将膨胀工具外置于膨胀管,进一步提高膨胀管的通过性与膨胀率。室内试验与现场应用表明:该技术使用的工具结构简单,装配方便,膨胀管与套管之间为全段金属密封,8%膨胀率的膨胀管与1 m套管之间悬挂力超过80 kN;动力系统能够承受30 MPa压力,满足使用要求;现场应用工艺设计合理,能成功解决已补贴段套管内径过小、待补贴位置难以精确定位的问题。

基于轮廓特征的SAR图像自动配准

针对SAR图像的自动配准问题,提出了一种基于轮廓特征的快速配准方法。在对SAR图像正确检测和分割的基础上提取图像的区域轮廓,并对其几何特征属性进行准确描述,利用配准点可以实现自动图像配准,仿真试验表明可以获得亚像素级配准结果。

非刚性稠密匹配大位移运动光流估计

光流场是目标检测,无人机定位等众多计算机视觉任务的重要基础.本文针对非刚性大位移运动等困难运动类型图像序列光流计算的准确性与鲁棒性问题,提出一种基于非刚性稠密匹配的TV-L1(Total Variational with L1 norm,TV-L1)大位移光流计算方法.首先,使用非刚性稠密块匹配计算图像序列初始最近邻域场,其次根据图像相邻块区域的相似性消除初始最近邻域场中的非一致性区域以得到准确的图像最近邻域场.然后,在图像金字塔分层计算框架下,将图像最近邻域场引入基于非局部约束的TV-L1光流估计模型,通过Quadratic Pseudo-Boolean Optimization (QPBO)融合算法在金字塔分层图像光流计算时对TV-L1模型光流估计进行大位移运动补偿.最后,采用标准测试图像序列对本文方法和当前代表性的变分方法LDOF(Large Displacement Optical Flow,LDOF)、Classic+NL、NNF(Nearest Neighbor Fields,NNF)以及深度学习方法FlowNet2.0进行对比分析.实验结果表明,本文方法能有效提高非刚性运动、大位移运动以及运动遮挡等困难运动类型光流估计的精度与鲁棒性.

基于WSSD的不规则图像块快速匹配

传统的图像块匹配加速算法都要求待匹配的图像块具有预先定义好的形状。但有时候由于数据损坏、丢失等原因,待匹配块的形状是不规则的(如图像修复)。针对这种情况,提出了一种无损精度的不规则块匹配加速算法,将不规则块匹配扩展为一求最小加权平方差和(WSSD)的问题,块的形状间接地通过每个像素的权重来控制,这使得图像块都能被统一地当成矩形块。为了进行加速,提出了用快速傅里叶变换(FFT)计算WSSD的方法。并利用待匹配块及其权重在傅里叶变换过程中需大面积补零的特殊性改进了FFT算法,在不损失精度的前提下,进一步降低了其复杂度。最后以图像修复为例,说明WSSD是比SSD更一般的图像块相似度,并为各种图像块匹配的应用提供了一种统一的处理框架。

一种用于监控系统中的人脸超分辨率图像重建方法

为了能够提高监控系统中模糊人脸视频的分辨率,从而用于案件取证及身份识别。利用监控系统中的人脸图像序列,提出了一种基于块匹配的人脸超分辨率图像重建方法,用于提高图像分辨率、获得清晰人脸图像。首先使用帧差法在图像序列中分割出人脸区域,然后在中间一帧图像中构建图像块,并与序列中其它图像相匹配,最后使用差值最小的匹配块融合并重建高分辨率人脸图像。经实验与其他现有算法比较的结果证明,本方法所得结果图像细节更清晰。

块关联匹配与低秩矩阵超分辨融合的图像修复

针对块匹配图像修复算法容易出现结构不连贯与块效应问题,提出一种两阶段图像修复方法.该方法通过增加相邻修复块在重叠区域的关联性约束,利用图像块关联匹配修复算法实现对降采样受损图像的粗修复,以保证图像主体结构的完整性;依据不同分辨率图像中像素点与其8邻域的线性相关性,引入带噪低秩矩阵填充算法对图像细节进行超分辨率精修复,使修复后图像的纹理与色彩变化具有连续性.实验结果表明,文中方法对包含渐变特征的自然图像修复具有更好的视觉效果.

基于图像块分类稀疏表示的超分辨率重构算法

目前基于图像块稀疏表示的超分辨率重构算法对所有图像块都用同一字典表示,不能反映不同类型图像块间的差别.针对这一缺点,本文提出基于图像块分类稀疏表示的方法.该方法先利用图像局部特征将图像块分为平滑、边缘和不规则结构三种类型,其中边缘块细分为多个方向.然后利用稀疏表示方法对边缘和不规则结构块分别训练各自对应的低分辨率和高分辨率字典.重构时对平滑块利用简单双三次插值方法,边缘和不规则结构块由其对应的高、低分辨率字典通过正交匹配追踪算法重构.实验结果表明,与单字典稀疏表示算法相比,本文算法对图像边缘部分重构质量明显改善,同时重构速度显著提高.

基于概率分布自适应的化学反应的元启发式优化算法运用于包匹配

包匹配是防火墙、路由器等设备中重要的研究焦点,它的速度直接影响着设备的性能。根据当前群的样本信息,把信息熵和直方图的理念引入当前群的信息统计,进而运用这些信息去动态调整化学反应的元启发式算法的相关参数。首次从当前群样本的角度,而不是假设全体样本的分布去分析问题。从实验结果看,其达到了很好的预期效果。基于化学反应的元启发式智能算法由于参数的动态调整,包匹配的规模和性能之间的联系更弱,从而使此智能算法更适合包匹配。

采用上下文金字塔特征的场景分类

为了能有效地表述场景图像的语义特性,提出一种基于图像块上下文信息的场景图像分类框架.首先用规则网格将图像分块,并提取每个块的SIFT特征;然后用K均值算法对训练图像的块特征聚类,形成块类型的码本;再根据此码本对图像块进行量化,得到图像的视觉词汇表示,形成视觉词汇图,并在其上建立2类视觉词汇模型:相邻共现的不同视觉词汇对模型和连续共现的相同视觉词汇群模型;最后应用空间金字塔匹配建立视觉词汇的上下文金字塔特征,并采用SVM分类器进行分类.实验结果证明,在常用的场景图像库上,文中方法比已有的典型方法具有更好的场景分类性能.

基于不规则块的纹理合成方法

为了很好地保持纹理的边界结构特征,提出了一种利用人眼的视觉特性,采用不规则块、随机覆盖法和曲线最优匹配的纹理合成新方法.新方法分两个步骤:首先根据人眼的视觉特性,采用智能选择工具从样本纹理中抽取出具有明显边界特征的不规则块,然后采用随机覆盖法和曲线最优匹配法来决定如何把不规则块拷贝到目标纹理中.和已有的合成方法相比,新方法能更好地保持纹理的边界结构特征.实验表明该方法可以快速高效地合成高质量的纹元式纹理.

小型无人机动平台的双目立体匹配方法研究

针对双目立体匹配中存在的误匹配、视差场稀疏等不足,提出了一种将区域匹配和特征匹配相结合的块匹配算法。对匹配图像对进行极线校正和限定搜索区域,采用SAD算法进行相似度测量。对小型无人机动平台的双目系统采集的任意一幅图像对用不同大小的匹配窗进行匹配。对结果进行了分析,结果表明了该方法的良好效果及实用性。

动态变形表面三维重建方法研究与实现

提出一种对可变性物体表面的动态变形过程进行三维重建的方法。将图像序列第一帧中物体表面划分成多个图像块,利用优化函数寻找每个图像块在所有帧中的对应关系,最终实现物体运动过程的三维重建;完成每一帧的三维重建后,根据图像关联度和局部拓扑结构对结果进行错误检测,并对出错块进行重新优化。模拟实验、实际数据实验以及与同类算法的比较,验证了该方法的有效性和可行性。

基于块匹配中主几何变换的图像合成

基于块匹配的图像合成在对齐合纹理结构方面十分有效,块匹配的精度和计算效率对此类方法有较大影响。通过统计分析不同合成区域在块匹配过程中的几何变换参数(包括平移,旋转和缩放三个参数),可发现这些变换参数稀疏地集中于少量取值。据此提出了一种基于主变换参数的块匹配方法来改进图像合成,主变换参数反映了待合成图像中块的主要变换方式,能有效减少块匹配的错误和需要搜索的块的数量,从而有效地优化了合成目标函数。实验证明,方法不仅能有效减少合成图像中因不准确的块匹配所引起的模糊,还能较好地对齐边界附近不一致的纹理,在计算速度上也比基于随机块匹配的方法有较大提高。

基于改进图像缝合技术的纹理合成研究

针对传统基于缝合的块匹配纹理合成中有时可能出现的明显不连续现象,对图像缝合技术进行改进。提出在最小误差边界分割方法中设置误差容忍度,追求路径累积误差最小的同时还限制路径经过误差较大的点,避免产生合成不连续现象。同时,在选择满足相似度限制的纹理块及缝合时采用多种形状边界区域。实验结果表明,改进方法能取得较好效果且不增加时间。

一种基于点特征的高精度图像配准方法

提出了一种基于点特征的多源图像高精度配准方法。通过在遥感影像上提取密集特征点,利用多种方法结合进行严格匹配获得同名点对。通过构建不规则三角网分割影像,再利用仿射变换模型实现每个三角形的配准。实验证明了该方法的有效性和较高的适用性。