基于改进最佳缝合线的矿井图像拼接方法

煤矿井下掘进工作面高粉尘、低照度的恶劣环境导致图像信噪比较低,且有效特征点数量严重减少,处理后的图像存在较大色差和噪声,在使用最佳缝合线算法进行图像拼接时出现细节错位、缝合线处过渡不自然或拼接痕迹明显的现象。针对上述问题,提出了一种基于改进最佳缝合线的矿井图像拼接方法。首先,对原始图像进行HSV空间变换,采用改进的Retinex算法对亮度分量进行增强,利用双边滤波函数代替中心环绕函数,以解决亮度差异大处产生的光晕问题,通过增强算法有效提高特征点提取数量。然后,采用SIFT算法提取特征点,并以余弦距离作为匹配度指标;引入像素余弦相似度作为约束项,并采用形态学操作对颜色差异强度进行改进,利用动态规划法对最佳缝合线进行搜索,以避免图像拼接处的错位现象。最后,结合渐入渐出融合算法,使图像过渡平滑,实现煤矿井下掘进工作面的图像融合。模拟井下实际工况环境进行实验验证,结果表明:基于改进最佳缝合线的矿井图像拼接方法与传统最佳缝合线算法相比,避免了颜色差异和噪声引起的错位拼接现象,拼接缝处的图像过渡更加自然,避免了“鬼影”和明显拼接缝的产生,且图像平均梯度提高2.38%,拼接时间提高32.5%,使得融合区域更加平滑自然,提高了拼接质量。

基于改进SIFT算法的超声图像拼接方法

针对大型结构超声C扫描获得的多幅子图像,为了获取被测结构的全景图像,研究图像的拼接方法.根据超声波法成像检测的动态过程并结合数字化图像处理技术,在传统的基于尺度不变特征变换(scale invariant feature transform,SIFT)算法基础上,提出了一种改进的超声C扫描检测图像拼接方法.首先,针对传统SIFT算法存在超声图像配准成功率低的问题,利用超声扫查过程中探头起始位置的矢量差对SIFT算法得到的特征点粗匹配结果进行筛选;其次,采用动态规划的方法寻找最佳缝合路径;最后,沿最佳缝合路径进行渐入渐出融合以改善融合区域的视觉效果.人工缺陷试块及焊接结构试件超声图像的拼接结果表明,基于改进的SIFT图像拼接算法可以将多幅超声C扫描子图像有效拼接为全景图像;所提方法特征点匹配准确率高、图像融合失真小,优于常规SIFT图像拼接算法;拼接图像中,目标位置关系对应良好,可实现结构加工质量的整体无损评价.

基于计算机视觉的图像拼接技术分析

本文主要以计算机视觉技术为基础,对图像拼接处理技术的应用措施进行分析,包括计算机视觉与图像拼接技术概述,以及计算机视觉技术模式下的图像拼接处理技术措施。希望通过本次的分析,可以为计算机视觉技术与图像拼接技术的良好融合以及计算机图像拼接处理质量的提升提供有力支持。

基于半投影翘曲的无人机图像拼接方法

为了解决无人机图像在拼接过程中出现的错位、重影等造成图像失真的问题,提出一种基于半投影翘曲的无人机图像拼接方法。首先估计图像的全局投影变换矩阵;然后根据待拼接图像的重叠情况,以及投影变换和相似性变换的连续性,求解出过渡变换矩阵和相似性变换矩阵,得到最终的半投影变换矩阵;最后构建图像重叠区域的差异矩阵,以此为基础获取重叠区域的差异性区域。使用分区融合策略,在差异性区域进行单采样,在其他区域进行距离加权融合。实验结果表明,该方法可以很好地拼接由于视角变化、地势起伏等造成视差的无人机图像,得到的拼接结果自然清晰,效果优于其他先进算法。该方法有效地解决了无人机图像拼接错位、重影的问题,在多项定量指标上表现良好。

改进网格单应性投影变换的文物多镜头光谱图像拼接方法

针对文物多镜头光谱图像序列拼接时的累计误差和多个景深视差导致的特征相对位置偏移问题,提出改进网格单应性投影变换的拼接方法。引入正射彩色全景图像作为参考图像,避免了以单一分镜头光谱图像为基准的累计误差问题。提出SIFT-LBP特征匹配算法,利用LBP纹理对SIFT特征匹配进行筛选和补充,获得准确的特征匹配点对;采用网格单应性变换,以特征匹配点之间的距离为权重,计算目标网格像素点的偏移位置,减少特征相对位置偏移问题;采用直方图匹配加权融合方法融合分镜头光谱图像,以平滑图像重叠区域。与主流图像拼接方法相比较,该方法拼接的图像视觉效果更优,且峰值信噪比较主流方法提高12.81%,结构相似性提高13.12%,为文物保护与研究提供可靠的全景光谱图像数据。

基于深度学习的图像拼接算法研究综述

图像拼接是计算机视觉和计算机图形学中的一个重要分支,在三维成像等方面具有广泛的应用。相较于传统基于特征点检测的图像拼接框架,基于深度学习的图像拼接框架具有更强的场景泛化表现。目前虽然关于基于深度学习的图像拼接研究成果众多,但仍缺少相应研究的全面分析和总结。为了便于该领域后续工作的开展,梳理了该领域近10年的代表性成果。在对传统拼接方法与基于深度学习的图像拼接方法对比的基础上,从图像拼接研究领域中的单应性估计、图像拼接和图像矩形化三个子问题出发,进行了学习策略及模型架构设计、经典模型回顾、数据集等方面的整理与分析。总结了基于深度学习的图像拼接研究方法的一些特点和当前该领域的研究现状,并对未来研究前景进行了展望。

基于改进NCC算法的大尺寸原位风机叶片可见光图像拼接

风机叶片的原位检修与维护对保证风电机组的安全运行起着至关重要的作用,目前主流的无人机巡检方式需要对风机叶片图像进行全景拼接以进一步定位分析叶片的微小缺陷和评估叶片的整体状态。针对风机叶片结构单一纹理稀疏难以拼接的问题,提出一种改进归一化互相关NCC算法的图像拼接技术,利用Canny边缘检测算法提取叶片边缘并进行筛选去重得到边界坐标,将NCC算法沿叶片边界坐标搜索匹配以简化搜索路径加快运算速度,同时增加关键信息的权重提高拼接准确率,并结合图像金字塔粗-精匹配思想对算法进行进一步加速,最终根据得到的最佳匹配位置获取空间对应关系实现图像拼接。实验结果表明,所提方法的匹配耗时约为原始NCC算法的6%,其他经典灰度匹配算法的3%~10%,同时也低于其他改进的NCC算法。其拼接成功率为94.74%,高于所有对比方法,最终成功获取了风机叶片可见光全景图像,表明该方法对大尺寸风机叶片可见光图像全景拼接具有良好的稳定性。

一种快速鲁棒性的视差图像拼接方法

当小型旋翼无人机超低空飞行时,不同位置拍摄的图像中极易出现结构视差。传统基于全局投影的拼接方法在处理视差图像时会出现伪影或畸变。最近的自适应拼接方法,如As-Projective-As-Possible(APAP)及其优化方法,使用“网格”来构建密集的局部投影场域,以改善视差图像拼接的对齐度和自然度,但计算复杂度较大。为此,提出了一种新颖的视差图像拼接方法,以深度稠密投影(Deep Dense Projection,Deep-DP)为特征匹配框架,设计了一种轻量化并行计算框架求解平滑形变场,以实现视差图像无缝拼接。在对比试验中,该算法平均运行时间达到0.2 s,显著优于其他先进算法,并且对齐质量和自然度达到了相近水平。提出的算法在兼顾图像拼接准确性的同时,计算效率显著提高。

自主水面船舶多视图图像拼接配准方法对比分析

为增强图像拼接配准方法的实时性,提高配准精度,将加速增强特征检测(SURF)、二进制鲁棒不变可扩展关键点(BRISK)、定向特征检测和旋转不变特征描述(ORB)、非线性空间特征检测(KAZE)和快速非线性空间特征检测(AKAZE)等配准算法分别与图像分割融合方法结合,在不同数据集上拼接图像,并对比拼接结果的最终效果图,SSIM指标,NIQE指标以及配准阶段的配准结果图、时间成本和内部比率值。结果表明,SURF算法和AKAZE算法的配准所需时间成本最低,KAZE算法在配准精度方面较高,拼接结果的质量较好。自主水面船舶需要进行图像拼接配准时可根据实时性和拼接质量要求选择合适的算法。研究成果可为自主水面船舶图像拼接配准提供一定参考。

面向无人船视觉感知的几何结构保护视差图像拼接

针对海上低纹理、大视差图像拼接过程中由于误对齐产生的伪影问题,提出一种基于点线特征配准和最佳接缝线融合的几何结构保视差图像拼接算法。在传统的基于点特征求解单应变换的基础上引入线段特征,并将潜在的共面局部线段合并为全局线段,为接缝线融合提供精准对齐的条件;在图像融合过程中,利用tanh度量的颜色差异和梯度差异以及引入显著性检测权重来设计接缝切割方法的能量函数,引导最佳接缝线避开图像中显著海上结构,从而确保结构边缘的连续性;使用SIFT flow方法校正拼接缝上的错位像素,实现几何结构准确的海上图像拼接。在20对不同场景数据上的拼接实验表明,与基准方法相比,所提算法的基于SSIM的接缝质量误差平均降低了44.6%,最多降低66.7%,基于ZNCC(zero mean normalized cross-correlation)的接缝质量误差平均降低了24.7%,最多降低了51.6%,能够有效地避免伪影,从而得到观感自然的拼接结果,满足无人船航行过程中对宽视场的需求。

大视差下海空背景图像拼接算法

针对大视差下海空背景图像为代表的一类不均匀弱纹理背景拼接任务存在的特征点稀少及配准后畸变鬼影问题,提出一种多层次复合特征提取及结合信息熵的最佳拼接缝搜索算法。首先将待拼接图像进行侧窗滤波等预处理后构建灰度图像金字塔,提取含SIFT特征在内的复合特征点,利用RANSAC算法精选特征点计算全局单应阵进行图像配准。提出一种基于局部邻域窗的能量函数,引入动态规划思想使用信息熵最大点作为拼接缝搜索起点完成拼接。试验结果表明,在自制及公开数据集UDIS-D上本文特征提取算法较常见SIFT、SURF、ORB算法平均提高122.6%、61.8%和3.75%,在拼接结果的PSNR、SSIM指标及视觉效果上本文算法较对比算法均有提升。

基于改进旋转不变性二进制描述算法的电力场景图像拼接

在图像拼接过程中,使用固定阈值的旋转不变性二进制描述(Oriented fast and rotated brief,ORB)算法检测出的特征点在特征匹配阶段会产生较多误匹配,从而导致拼接的图像在拼接缝处产生重影。针对此问题,提出一种基于改进ORB的图像拼接算法。首先,使用自适应算法将ORB的固定阈值替换为动态阈值对特征点进行检测;然后,使用K近邻(K-nearest neighbor,KNN)算法进行特征点粗匹配,再用随机抽样一致性(Random sampling consensus,RANSAC)算法对特征点进行精匹配;最后,通过最佳缝合线法和渐入渐出法对图像进行拼接。实验结果表明,相较于传统的ORB算法,利用所提出的算法时所需的特征点检测时间、匹配时间明显减少,匹配正确率明显提高,拼接缝重影被有效消除。

图像拼接的仿生复眼光学系统设计

为解决单孔径光学系统受单一探测器尺寸约束,大视场与高分辨率性能相互制约的问题,利用ZEMAX软件设计了一种3*3仿生复眼光学系统,基于SIFT特征匹配算法对经系统所得图像的特征进行提取和匹配,利用RANSAC算法优化匹配对,计算单应矩阵,实现图像的拼接。设计得到的3*3仿生复眼光学系统总视场为22.6°,系统组合焦距为40 mm。系统传递函数在100 lp·mm^(-1)处高于0.4,系统均方根半径最大为12.79μm,系统最大畸变为0.309%,位于视场边缘。该系统结构简单、畸变小,能够满足图像拼接的精度要求。

基于图像矫正与小波变换融合的岩心图像拼接算法

为了提高岩心图像拼接的效率,针对在岩心采集出现的图像中的像素错位现象以及图像拼接处理出现的亮度差异、鬼影等问题,提出基于图像矫正与小波变换融合的岩心图像融合算法。首先改进AKAZE算法提高提取效率,对采集图像进行图像矫正得到矫正图像;再对矫正后的待拼接图像进行特征点提取与匹配,得到2幅图像之间配准关系;最后通过基于HSI域的小波融合与改进最佳缝合线融合得到拼接图像。实验结果表明,本文提出的矫正与拼接算法满足实际需求,图像无明显上下拼接缝与错位,且在DoEM和PSNR指标上与传统最佳缝合线和改进的渐入渐出算法相比均有所提升,融合区域避免了鬼影且亮度过渡均匀,无明显左右缝合线产生,拼接的图像符合人眼视觉。

一种基于FPGA的实时图像拼接融合算法电路设计

图像拼接在全景等领域应用广泛,其关键技术包括图像配准和图像融合两个部分。为了达到低成本和实时处理,往往需要研究图像拼接电路设计,但众多研究集中于图像配准算法,忽视图像融合算法,更不用说专用电路设计。图像配准算法电路以及外设控制器电路由于其复杂性通常会消耗电路中绝大部分资源,因此,图像融合电路的性能和资源利用就成为影响图像拼接系统性能的两个关键因素。为了高效且低资源消耗地实现配准后图像的融合,设计了一种基于贪心算法搜索接缝线的图像融合算法电路,搭建了完整的从图像数据输入到显示输出的验证原型系统。基于Cyclone IV现场可编辑门阵列(Field Programmable Gate Array,FPGA)器件的综合结果和理论分析表明,提出的电路在保持低资源占用率和显示效果的同时在时钟频率100 MHz下完成两幅486×643的图像融合耗时6.5795 ms,约为144 FPS,达到了实时性要求,且经过理论换算,处理速率优于3个比较对象。

基于无监督深度学习的图像拼接实验设计与实现

在智能交通、虚拟现实和遥感监控等图像应用领域,通过图像拼接可将多个摄像头获取的图像进行宽视野整体呈现。针对当前数字图像处理和模式识别等电子信息类专业课程缺少图像拼接相关的教学案例以及大视差图像拼接时存在伪影、失真等问题,给出一种基于景深-彩色图像融合的无监督深度学习图像拼接方法。采用彩色图像对应的景深图进行图像融合,计算单应性变换获得粗略对齐的图像,以低分辨率分支和高分辨率对齐分支获得精细对齐的图像,使用通道注意力和扩张卷积提升拼接效果。在不同数据集及多个场景下测试了视差图像拼接的效果,验证了该方法在真实场景下进行大视差图像拼接及多摄像头图像拼接的有效性。

基于AKAZE和PROSAC的风机叶片裂纹图像拼接方法

为获得完整且高分辨率的风机叶片裂纹图像,利用图像拼接技术将多张高分辨率图像拼接成一副完整的图像。针对风机叶片裂纹图像特征检测困难、匹配率低和拼接质量差的问题,提出一种基于AKAZE算法和PROSAC算法的图像拼接方法。首先,该方法利用AKAZE算法检测图像特征点,并生成二进制的特征点描述符;然后,将汉明距离作为相似度测量对特征点进行暴力匹配,在此基础上采用PROSAC算法优化特征匹配结果,并计算图像变换矩阵;最后,使用渐入渐出融合算法消除拼接痕迹,获得完整的叶片裂纹图像。试验结果表明,本文方法能够检测出数量丰富的特征点,匹配正确率在95%以上,拼接精度约为0.7个像素,并且拼接速度较SIFT方法提升了17%。AKAZE+PROSAC方法可以更好地满足高分辨率风机叶片裂纹图像拼接的需求。

阻尼改进抗差L-M匹配下全景图像拼接平滑优化

为了解决大面积视觉全景图像受拼接缝影响,拼接平滑面积较小的问题,提出阻尼改进抗差L-M匹配下全景图像拼接平滑优化方法。阻尼因子改进抗差L-M算法,计算抗差L-M迭代向量;利用改进抗差L-M算法,融合球面投影理论,对特征匹配误差目标函数进行优化。融合拉普拉斯算法和高斯滤波金字塔对图像进行分解重构,确定图像拼接缝重叠区域后完成全景图像拼接平滑优化。实验结果表明,所提方法的拼接缝平滑面积能够达到95.8%,解决了拼接平滑面积较小的问题。

基于旋转图像拼接的大跨桥梁施工变形监测技术应用研究

针对基于图像处理的大跨桥梁施工变形监测中全景拍摄方式的测量难度大、精度低等问题,提出一种基于旋转图像拼接的桥梁施工变形监测方法。该技术通过旋转拍摄方式获得桥梁的图像,经过一系列算法处理后拼接成桥梁的等效正视图像,并对施工前后的等效正视图像进行处理,将图像中测点的位移数据转换为实际变形值,从而完成桥梁施工阶段的变形监测。将此技术应用在江苏省268省道京杭运河大桥主桥施工过程的变形监测,结果表明,与水准测量结果相比,桥梁变形值相对误差在10%以内,满足工程监测要求。

基于多相机图像拼接的设计与实现

基于视频监控系统的图片拼接是目前安防系统的重要基础研究,其本身系统特性要求图像拼接实时性高,并且有别于工业机器视觉的图片拼接系统,视频监控系统的图片拼接要求满足多相机不同角度的采样拼接,对于畸变的容错能力要强,泛化能力要求高。通过提取角点特征信息作为图片拼接的特征表述、欧氏距离判断配对点、RANSAC(Random Sample Consensus,随机抽样一致算法)对图像融合拼接,并且在角点特征提取上通过Förstner算法与Harris算法在角点检测上的性能对比,得到基于Harris算法基础的图片拼接,更符合视频监控系统图片拼接的设计需要。