基于条纹投影三目系统的舌面完整点云获取方法

传统的舌诊过程存在客观性较差的问题,将计算机视觉技术应用于舌诊可以有效推进舌诊客观化。双目立体视觉结合结构光条纹投影技术是三维测量的常用手段,但对于舌诊的测量场景,由于舌体表面常带有津液和口水等,造成条纹图像出现分布随机性较大的高反光区域,导致相位解算错误和点云缺失。本文提出了一种基于光栅投影的三目测量系统,由3个相机构成1个三目和3个双目子系统。在相位和级次约束基础上引入双极线约束,提高三目立体匹配精度,并利用匹配点补充优化三目匹配点集,重建高反光区域点云。结果显示,对比传统双目系统,本系统的匹配精度和重建精度均得到提升,特别是在真实舌面测量中能够生成纹理清晰、特征完整的点云,对舌面高反光区域进行了有效测量,有助于舌诊的客观化进行。

基于几何约束的倾斜影像特征匹配方法

针对倾斜影像视角变换较大、重复纹理导致匹配数量少、匹配精度不高的问题,提出一种适用于倾斜影像的特征点、线分级匹配方法.首先,用直线提取(检测)算法(LSD)获取影像直线特征,并将直线特征以一定约束进行直线组对,构建直线对区域与改进的SIFT(scale-invariant feature transform)特征描述符进行匹配,使用RANSAC算法剔除误匹配,获得初始匹配结果后再进行核线约束;然后,利用已获得直线对区域进行影像局部纠正,在纠正后的局部影像上采用SIFT匹配并反算回原始影像,利用得到的同名点全局纠正倾斜影像,并进行特征点匹配与采用基于方格的运动统计算法(GMS)剔除误匹配,仍将匹配结果反算回原始影像上;最后,将仿射尺度不变特征变化结果与点拓展匹配结果进行合并,得到最终匹配结果.试验结果表明:本文方法匹配正确率与经典的仿射不变匹算法(ASIFT)的正确率相差不大,但匹配数量却是ASIFT算法的1倍~3倍.

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

不同分布下红外主动目标特征点配准方法研究

视觉测量中经常需要用到特征匹配来计算位姿信息,但尚无针对红外主动目标设计特征匹配可用的算法,为实现对不同分布红外主动目标的匹配,本文提出了一种通用的两阶段特征点匹配方法。第一阶段为粗配准,首先检测图像特征点集的凸包,获取最外围点;通过构建三角形特征集,并使用马氏距离进行相似三角形计算搜索实现快速粗配准。第二阶段为精匹配,首先通过粗匹配特征计算欧拉角避免匹配结果的180°旋转对称;针对粗配准后的可能存在的特征点缺失问题,采用极线约束精匹配策略,充分利用已匹配特征点的几何信息,有效实现对剩余点的精确匹配。理论分析与实验表明,在13个红外发光点组成的旋转对称点集及非旋转对称点集下,该方法在绝对大小0°~40°的旋转范围内能高效匹配,实验测试极限性能能够达到50°,并对实际场景下特征点的遮挡等情况具有较好的鲁棒性,实验结果验证其适应性与稳定性,具有较高的实用价值。

基于稀疏和稠密图像匹配与对极约束的树高提取改进算法

树高是监测森林状况的重要参数,摄影测量法具有低成本、灵活的特性,是树高采集的重要方法之一.作为一种被动遥感方式,传统的摄影测量方法往往需要数量较多,重叠率较高的图像数据,这与传统图像特征的稀疏性有关.为了提高图像数量受限条件下的树高提取精度,提出将稀疏特征匹配和稠密像素匹配相结合,并使用对极约束过滤外点的方法,得到稠密且精度较高的匹配结果,并通过三维重建算法得到森林场景点云.该方法在少量图像的情况下就可以较为完整地重建森林场景并提取树高,将提取的树高与机载激光雷达(light detection and ranging,LiDAR)点云的结果进行对比,相关系数为0.91,最大误差为1.64 m.该算法只需要少量的重叠图像,这表明了该算法在处理高分辨率卫星图像方面具有一定潜力.

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。

一种改进的视图几何基本矩阵估计法

多视图几何中的基本矩阵估计需要利用准确的对应点,但是图像噪声或光线变化会产生错误匹配,进而严重影响基本矩阵估计的准确度。为提高基本矩阵估计的准确性,文章提出了一种基于对极约束梯度的迭代方法去估计基本矩阵。该方法能在最少的迭代次数下迅速剔除两视图匹配过程中的错误匹配点。然后再加入对应点相关性的约束,可以得到最佳对应点集合用于估计基本矩阵。通过在各类不同场景的图像上实验分析可以发现,该方法相比于其他方法估计基本矩阵误差至少降低20%。

融合AMF与EGC的10 kV不停电作业安全距离检测方法

检测作业人员与带电体间的距离是否超限是保障10 kV不停电作业安全的关键。针对传统的立体视觉测距方法精度与实时性不足的问题,提出一种融合自适应多尺度特征(adaptive multi-scale features,AMF)网络与对极几何约束(epipolar geometry constraints,EGC)的安全距离检测方法。首先,通过实例分割精确提取双目图像中人员关键部位与带电体的轮廓。其次,利用EGC约束特征匹配点的搜索范围,通过AMF突出匹配点相关特征并为多尺度特征分配自适应权重从而获得多尺度融合特征,AMF通过其联合注意力模块提高特征点表示能力与匹配准确度,其全局-局部融合模块通过联合左右图特征为多尺度代价聚合提供更鲁棒的特征表示;最后,通过3D代价聚合减少参数量,从而提高检测速度;通过关键点视差计算进行安全距离评估,从而实现作业人员与带电体间的距离检测。实验结果表明,所提方法测距精确度达到94.6%,帧率达到28.9帧/s,满足10 kV不停电作业现场安全距离检测的精确性与实时性的要求。

基于双目视觉的棒材端面中心点定位

在利用标签焊接机器人为捆装棒材焊接标签时,需要向其提供一组棒材端面中心点的三维坐标,针对从捆装棒材中选择并定位棒材端面中心点的问题,提出一种基于双目立体视觉的方法。该方法利用双目视觉系统的虚拟像平面模型,通过将平面标定板摆放在平行于捆装棒材端平面的位置进行两台相机的外参标定,根据标定结果生成目标在该标定平面上的虚拟图像;采用SVM和连通区的方法提取虚拟图像中棒材端面中心点特征;采用极线约束和中心点共面约束的方法进行特征匹配,向机器人提供一组端面中心点三维坐标。仿真实验结果显示提供给机器人的推荐点均来自正确匹配点对,说明本文提出的特征匹配算法有效;真实实验中推荐点深度位移最大误差为0.20 mm,平均误差为0.09 mm,说明本文提出的棒材中心点特征提取方法有效。

基于工业机器人的图像引导圆孔定位方法

在图像引导的圆孔金属工件自动化装配中,由于圆孔金属工件的图像存在弱纹理甚至无纹理的情况,从而导致对圆孔位姿的定位精度低。针对此问题,通过工业机器人带着单目工业相机水平移动构建一个平行双目结构,获取双目图像;通过对双目图像中的圆孔轮廓提取的特征点粗匹配,得到图像的基础矩阵,再通过基于弧段的椭圆检测对双目图像中的圆孔轮廓进行提取,最后通过上述信息进行基于极线约束的双目精立体匹配并求得相关点三维坐标与位姿。实验结果表明:孔位与孔心距精度保持在1 mm内,孔姿态精度保持在0.3°内。

改进AKAZE算法的泥石流区无人机影像特征匹配

针对在泥石流区灾害应急中使用无人机高分辨率影像特征匹配时时效性较低的问题,本文提出了一种改进AKAZE无人机影像特征匹配的算法。该算法首先使用AKAZE特征点检测算法提取局部稳定不变特征,用二进制描述符BEBLID描述检测到的特征点,采用最近邻次近邻距离比(NNDR)完成初步匹配;然后采用核线几何约束计算变换矩阵,达到内点提纯、提高匹配质量的目的;最后选取5组同一无人机序列影像进行特征匹配试验,分别与经典SIFT算法、AKAZE算法、ORB算法进行比较。试验结果表明,该方法的匹配准确率与SIFT算法接近,略高于AKAZE算法,明显优于ORB算法,计算速度明显优于SIFT算法和AKAZE算法,基本达到ORB算法的计算效率。本文方法能较好地应用于对匹配精度和匹配时效均要求较高的泥石流场景无人机影像数据处理中。

基于近景影像的稠密匹配方法

针对三维重建中影像匹配所存在的同名点稀疏、分布不均和部分局部特征约束难以抵抗旋转、尺度和仿射变换所带来的负面影响,设计了基于近景影像的稠密匹配算法,首先利用ASIFT算法与RANSAC算法获取影像组稳定匹配点,构建Delaunay三角网,确定目标三角形内的像素集合,利用仿射变换将其映射至对应三角形内,结合极线约束与改进后的局部灰度特征约束进行验证.最终利用公开数据集与自建数据集进行算法的有效性验证,实验结果表明,算法匹配正确率均保持在93%以上,具备良好的匹配点加密效果;并在一定程度上解决同名点稀疏、分布不均等问题,同时算法本身对不同的影像变换表现出了较好的适应性与稳定性.

双目CCD结构光三维测量系统中的立体匹配

在立体视觉中,比较了几种常见立体匹配方法,并针对存在的问题,提出了多种方法融于一体的高效立体匹配方法。首先将计算机构造的用于解相的光栅由投影仪投射到物体上,再将计算机构造的一系列黑白相间的编码光栅也由投影仪投射到物体上;然后将畸变栅线图像由摄像机采集到计算机中,用解相光栅进行解相得到折叠在[-π,π]区间内的相主值,用所述结构光编码方法进行相展开得到相位的周期,二者相加得到真实相位值。利用插值算法将具有相同相位的点拟合成连续曲线,从而实现了两幅CCD图像相同相位曲线的匹配,再根据外极约束条件,得到两幅图像点的匹配。在反向工程中,用该方法对电话接线筒进行三维测量,实验验证了该方法进行立体匹配的高效性和准确性。

便携式激光扫描三维形貌测量系统

介绍了基于双目立体视觉的便携式激光扫描三维形貌测量系统,该系统的测头部分安装了5个激光器,将 扫描速度提高了5倍,而且采用两个摄像机同时摄取扫描激光光条图像,避免了对投射激光的标定过程。根据立 体视觉原理,经图像匹配,可计算得到光条上所有点的空间位置和深度,即被测空间曲面的三维信息。阐述了非 接触三维形貌测量的原理和方法,试验结果证明了系统的可行性和适用性。

区域立体匹配算法的实现及改进

为了精确地建立两幅图像的匹配基元之间的对应关系,解决区域匹配算法计算量大等缺点,给出了一种区域立体匹配算法的实现及改进方法。将图像进行外极线校正,并在此基础上,采用一种结合隐含约束条件和唯一性约束条件的单向匹配算法(SMP算法)完成初次匹配及初次去除伪匹配;然后采用一种伪极线约束条件,对得到的匹配对进行二次去除伪匹配;最后,对得到的视差图进行插值运算。与SMP算法相比,本文算法的匹配精度提高了10%左右。另外,在匹配过程中,通过利用Box滤波加速方法,减少了计算匹配窗口相似性的复杂度,程序运行时间比BM算法缩短了50%。结果表明,改进后的算法提高了精度且能满足系统对实时性的要求。

直升机电力巡线系统中利用核线约束进行线路三维重建

在基于多角度成像技术的直升机电力巡线系统中,为了完成线路预警需要计算导线与周围物体的相对距离,除需要生成线路走廊所在地区的数字地面模型外,还必须提取三维线路信息.因此,提出了一种利用核线约束对线路中间隔棒进行三维重建的方法,进而可以重建整条电力线的三维信息.现场飞行实验表明,应用所提出的方法可以准确重建电力线路的三维信息,使得系统的物线距离测量达到巡线需要的0.5 m精度要求.

基于角点特征值和视差梯度约束的角点匹配

提出了一种基于角点特征值的角点匹配快速算法,并利用视差梯度约束去除误匹配的结果。首先把提取角点时得到的角点特征值作为匹配的一个约束,提高了基于灰度相关的角点粗匹配运算的速度,然后利用视差梯度约束对粗匹配的结果进行求精运算,去除误匹配的结果,实验结果证明了该算法的有效性。

一种直线段匹配的新方法

直线特征在人造目标和环境中普遍存在,直线段的匹配是三维重建等应用领域的首要解决问题。一般单直线的匹配方法难以解决被部分遮挡直线的匹配问题,提出了一种基于极线约束和RANSAC算法的匹配方法。对直线段上的点运用基于极线约束的匹配方法在另一幅图像中进行点的同名匹配,采用RANSAC算法建立直线模型,剔除野值,得到匹配直线段。本方法能有效地解决图像中被部分遮挡直线段的匹配问题,仿真实验和实际图像实验证实了本算法的正确性和高精度。

结合SURF算子和极线约束的柑橘立体图像对匹配

提出一种结合SURF算子和极线约束的立体匹配方法。对采集的双目视觉柑橘图像进行R-B分量的计算,在该分量上,采用快速hessian检测子进行特征点检测,并使用SURF描述子对检测到的特征点进行64维的特征描述。采用欧式距离和极线约束进行特征点匹配。实验表明,该方法对一幅图像对的平均处理时间为293ms,在果实被遮挡或光线变化的情况下均能较好地进行特征点提取和匹配。该方法为后续的深度信息计算提供了基础。

基于极线局部校正的特征匹配方法

针对利用多视图像进行目标三维测量、结构重建时在极线约束下对直接区域灰度相关进行同名特征匹配常常失效的问题,提出了一种基于极线局部校正的特征匹配算法。介绍了极线约束匹配的原理,分析了相关方法在极线约束匹配中的缺陷以及在多种像机位姿配置下的图像特征间的约束关系,在此基础上提出了一种极线局部区域校正的方法,对待匹配区域进行校正使自动相关匹配能有效执行,结合最小二乘匹配得到了高精度的匹配结果。实验结果证明了新算法的有效性,大大提高了自动匹配的可靠性、速度和精度。