Image Relaxation Matching Based on Feature Points for DSM Generation

In photogrammetry and remote sensing, image matching is a basic and crucial process for automatic DEM generation. In this paper we presented a image relaxation matching method based on feature points. This method can be considered as an extention of regular grid point based matching. It avoids the shortcome of grid point based matching. For example, with this method, we can avoid low or even no texture area where errors frequently appear in cross correlaton matching. In the mean while, it makes full use of some mature techniques such as probability relaxation, image pyramid and the like which have already been successfully used in grid point matching process. Application of the technique to DEM generaton in different regions proved that it is more reasonable and reliable.

AUTOMATED IMAGE MATCHING WITH CODED POINTS IN STEREOVISION MEASUREMENT

A coding-based method to solve the image matching problems in stereovision measurement is presented. The solution is to add and append an identity ID to the retro-reflect point, so it can be identified efficiently under the complicated circumstances and has the characteristics of rotation, zooming, and deformation independence. Its design architecture and implementation process in details based on the theory of stereovision measurement are described. The method is effective on reducing processing data time, improving accuracy of image matching and automation of measuring system through experiments.

Stereo Matching of Planar Curves Composed of Time Stamped Points

Matching features such as curve segments in stereo images play a very important role in scene recomtruction. In this paper, a stereo matching algorithm for the trajectories composed of time stamped points is proposed. Based on time stamped points, planar curve match measurements are given first, such as time constraint, cross-ratio invariant constraint and eplpolar geometry constraint; then, a trajectory matching method is proposed based on epipolar geometry constraint and cross-ratio invariant constraint. In order to match the planar curve segments projected by perspective projection system, the curve start time and end time are selected first to prepare match candidates. Then, the epipolar equation is used to discard the unmatched curve segment candidates. At last, a cross ratio invariant constxaint is used to find the most matched curve segments. If their match measurement is higher than the specialized threshold, a candidate with the least cross ratio difference is then selected as the match result; otherwise, no match is found. Unlike the conventional planar curve segments matching algorithm, this paper presents a weakly calibrated binocular stereo vision system which is based on wide baseline. The stamped points are obtained by targets detecting method of flying objects from image sequences. Due to wide baseline, there must exist the projection not in epipolar monotonic order or the curve segments located in very short distance and keeping the epipolar monotonic order. By using the method mentioned above, experiments are made to match planar curve segments not only in epipolar monotonic order but also not in epipolar monotonic order. The results show that the performance of our curve matching algorithm is effective for matching the arc-like planar trajectories composed of time stamped points.

Design of a coated thinly clad chalcogenide long-period fiber grating refractive index sensor based on dual-peak resonance near the phase matching turning point

A novel method for designing chalcogenide long-period fiber grating(LPFG) sensors based on the dual-peak resonance effect of the LPFG near the phase matching turning point(PMTP) is presented. Refractive index sensing in a high-refractive-index chalcogenide fiber is achieved with a coated thinly clad film. The dual-peak resonant characteristics near the PMTP and the refractive index sensing properties of the LPFG are analyzed first by the phase-matching condition of the LPFG. The effects of film parameters and cladding radius on the sensitivity of refractive index sensing are further discussed. The sensor is optimized by selecting the appropriate film parameters and cladding radius. Simulation results show that the ambient refractive index sensitivity of a dual-peak coated thinly clad chalcogenide LPFG at the PMTP can be 2400 nm/RIU, which is significantly higher than that of non-optimized gratings. It has great application potential in the field of chemical sensing and biosensors.

基于倾斜三维模型与机载LiDAR点云的DEM快速更新

随着倾斜摄影技术的发展和实景三维建设的不断推进,地形级实景三维地理场景对DEM现势性要求日益提高。为了解决传统方法更新DEM成本高、工作量大的问题,本文提出了利用倾斜三维模型成果转换点云,融合两期DSM和DOM进行变化检测,替换已有机载LiDAR点云,快速更新DEM的方法,并通过项目验证了该方法的可行性,极大地节约了生产成本,为DEM更新提供了思路。

复杂场景下多模态点云数据配准技术

针对复杂环境下多模态点云数据获取难,以及对点云数据配准、三维模型构建精度的要求越来越高的情况。本文以南通大剧院实景三维建模为例,当初始点云和校准点云两组多模态融合点云位置差较大时,采用ICP算法进行点云配准易导致局部最优问题,利用所提出的基于控制点辅助约束的最近点迭代(CPA-ICP)算法通过对点云数据进行配准,并与其他3种点云配准算法的试验进行对比,可知该方法的配准精度和配准效率较高,对复杂场景下的多模态点云数据融合有较好的参考意义。

车载激光点云道路标线分类提取方法

利用车载激光道路点云提取道路标线的难度较大。针对此问题,文章采用一种改进的基于点云特征图像的道路标线分类提取方法。首先将道路点云投影生成点云特征图像,通过结合图像梯度分析、图像二值化和连通域分析等操作,进一步进行道路标线像素提取;然后反投影到三维点云后,利用高斯混合模型对道路标线精细优化,从而提取出完整的道路标线点云;最后通过模板匹配分类,对道路标线点云进行分类提取。实验结果表明,该方法对不同道路环境下道路标线提取的准确度、完整度以及综合评价都超过90%。

基于几何约束的倾斜影像特征匹配方法

针对倾斜影像视角变换较大、重复纹理导致匹配数量少、匹配精度不高的问题,提出一种适用于倾斜影像的特征点、线分级匹配方法.首先,用直线提取(检测)算法(LSD)获取影像直线特征,并将直线特征以一定约束进行直线组对,构建直线对区域与改进的SIFT(scale-invariant feature transform)特征描述符进行匹配,使用RANSAC算法剔除误匹配,获得初始匹配结果后再进行核线约束;然后,利用已获得直线对区域进行影像局部纠正,在纠正后的局部影像上采用SIFT匹配并反算回原始影像,利用得到的同名点全局纠正倾斜影像,并进行特征点匹配与采用基于方格的运动统计算法(GMS)剔除误匹配,仍将匹配结果反算回原始影像上;最后,将仿射尺度不变特征变化结果与点拓展匹配结果进行合并,得到最终匹配结果.试验结果表明:本文方法匹配正确率与经典的仿射不变匹算法(ASIFT)的正确率相差不大,但匹配数量却是ASIFT算法的1倍~3倍.

无人机LiDAR点云与无人机影像匹配点云分析比较

随着无人机技术的不断发展,无人机数码航测技术和无人机LiDAR技术在测量领域的应用越来越广泛。为分析无人机LiDAR点云和无人机影像匹配点云2种点云的差异,该文通过对西南某铁路一个测区在同一飞行高度的情况下同时进行无人机数码航摄及无人机LiDAR航摄2种方式航摄。对2种不同的摄影方式获取的点云进行比较,分析出2种方法获取点云在形态表现、滤波分类,以及利用2种点云制作DEM高程精度方面的差异,为实际工程航飞方式的选择提供一个参考。

基于改进的SuperGlue模型的浮选泡沫稳定度检测方法研究

在浮选过程中,浮选泡沫保持一定的稳定度对保证浮选指标的稳定至关重要。由于浮选泡沫本身的复杂性和现有检测方法的局限性,目前还无法对工业现场泡沫的稳定度进行定量检测和评估。为此,开发了一种基于改进的SuperGlue模型的浮选泡沫图像特征匹配算法,用于对浮选泡沫的稳定度进行测量。该算法采用改进的SuperPoint模型网络对泡沫图像进行特征点提取,将原有的VGG网络进行了改进,利用特征匹配模型对所得到的两组特征点进行匹配,再进行误匹配精筛选,设置置信度阈值进一步提升匹配精度。对比了在匹配算法中应用比较多的GMS算法,本文算法的有效特征点匹配对数提升了19.58%,匹配精度达99.85%。与传统灰度差值法对比,本文的泡沫稳定度测量方法对不同状态的泡沫可辨识性提升明显,极大地提高了图像检测灵敏度,可以满足生产对泡沫稳定度测量的要求。

基于视觉传达技术的激光成像雷达图像匹配系统

为增强激光成像雷达图像,提升激光成像雷达图像匹配效果,设计基于视觉传达技术的激光成像雷达图像匹配系统。获取激光成像雷达图像,经视觉传达技术中优化后的Retinex增强算法完成图像增强处理后,使用SIFT和旋转不变LBP方法获取关键点和关键点四周区域旋转不变LBP特征,根据关键点相似度判定等实现激光成像雷达图像匹配。实验结果证明:所提系统的峰值信噪比最高为47 dB,结构相似度最高达到0.92;图像特征点匹配精度最高为97%,匹配速度最快为3.6 s,该系统增强了激光成像雷达图像质量,能够高精度实现激光成像雷达图像匹配,为实际工作提供可靠依据与参考。

基于无人机巡检与深度学习的河道整治施工进度图像识别

长线性小流域治理工程中的河道衬砌、生态护岸等距离长、范围广、布置分散,且工区交通不便,人工巡检费时费力,难以及时掌握工程的整体施工进度形象面貌。提出了基于无人机巡检与深度学习的河道整治施工进度智能图像识别方法,通过定位施工节点(施工区域起点和终点)的位置计算施工进度。首先,建立了施工区域目标检测模型,针对无人机航拍影像进行河道衬砌护岸施工区域的识别以及施工节点的定位;然后,利用尺度不变特征变换(scale-invariant feature transform,SIFT)算法对不同视频帧中的施工节点进行匹配,并基于单目视觉的运动视差法,计算施工节点的实际工区坐标;最后,计算当前衬砌护岸施工进度,并分析进度偏差。结果表明:该方法得到的施工节点定位平均误差为1.026 m,平均相对误差为0.74%,该方法能够较为准确地从航拍图像中识别得到当前衬砌护岸的施工进程,从而实现长线性工区快速巡检,及时掌控现场施工进度,提高工程管理的智能化水平。

基于机载激光扫描和倾斜影像匹配的点云构建及差异性分析

点云是三维空间数据的重要组成部分,机载激光扫描和倾斜影像匹配是两种主要点云构建技术,具有共性与差异性。本文旨在分析机载激光扫描和倾斜影像匹配技术构建点云的差异性,首先阐述了机载激光扫描和倾斜影像匹配点云构建的具体方法,然后结合案例,从点云构建效果、数据完整性、密度、精度和植被穿透性等方面进行比较和分析。结果表明,两种技术构建点云都具有较好的数据完整性,均能生产高密集点云,远超规范要求,精度相当且较高,但是激光扫描在遮挡区有漏洞,影像匹配局部盲区细节失真;激光点云具有较好的穿透性,能实现不同植被覆盖区域地面点云构建,而影像匹配点穿透性差,在密集植被区域存在缺失甚至不能构建地面点。研究结果为后续点云构建方法的选用和优化提供了参考,具有一定的研究与应用价值。

基于教师-学生模型的点云目标检测算法

针对现有点云目标检测算法对室外自动驾驶场景中遮挡物体检测精度低的问题,提出一种基于知识蒸馏和注意力增强的点云目标检测算法。以CIA-SSD模型为基础,设计了一种基于教师-学生模型的密集特征生成模块,提出基于交并比匹配策略的密集数据生成方法,将稀疏特征转换为密集特征。密集特征生成模块位于学生模型中,学生模型在教师模型生成的软目标监督训练下,推断出完整的密集目标特征,实现目标特征的补全;在教师模型中设计空间注意力和通道注意力机制,增强密集目标点云,提升特征图的质量。在KITTI数据集上的验证实验结果表明:与SE-SSD模型和CIA-SSD模型相比,本文提出的算法保持了单阶段目标检测速度的优势,同时明显提升了检测精度。

基于二维正态分布的无人机激光雷达点云匹配研究

无人机激光雷达点云特征多,一次匹配花时间长,难以进行二次匹配,因此研究基于二维正态分布的无人机激光雷达点云匹配方法。采集无人机激光雷达点云图像,通过旋转平移方法、双边滤波方法对图像预处理,利用二维正态分布算法和动态时间规整算法完成点云特征提取,使用初始变换矩阵估计算法对点云进行粗匹配,再使用近点迭代算法进行点云快速精匹配,通过两次匹配实现无人机激光雷达点云快速匹配。实验结果表明,所提方法的无人机激光雷达点云图像去噪效果好,点云匹配时间短,匹配偏差仅在0.04 m-0.15 m之间,匹配精度达到了相关预期。

面向低重叠率点云匹配的多层级过滤网络

针对点云测量过程中由于结构遮挡、视场约束、拼接误差等导致的匹配失真问题,提出一种多层级过滤网络(Multi-level Filter Network,MulFNet)用于实现单次测量点云低重叠率下的精确配准。通过特征金字塔编码网络提取点云的多层级特征,获得不同尺度的语义信息,同时嵌入注意力模块和信息编码模块以增强特征显著性。基于多尺度一致性决策机制对多层级特征进行过滤,筛选离群点并保留点云突出特征,获得初始对应关系。最后,将初始对应结点基于几何信息自适应分组,由局部至全局进行加权转换估计,获得基于多层级过滤筛选后的预测矩阵。实验结果表明,MulFNet网络在标准3DMatch公共数据集上的匹配效果明显优于FCGF,PREDATOR等主流网络,在平均重叠率为10%的测量数据集上的匹配精度比ICP算法和GeoTransformer网络分别提高40.9%和85.4%,有效解决了低重叠率点云匹配失真的问题。

基于统计局部特征描述与匹配的点云配准算法

针对ICP算法在初始位姿差、部分数据丢失和噪声干扰情况下鲁棒性差、配准精度低的问题,提出一种基于统计局部特征描述与匹配的点云配准算法。首先,用点云局部密度、点云拟合平面距离方差、高斯曲率和平均曲率构建一个四维的统计局部特征描述符,准确地描述查询点的局部特征;然后,通过点对间的特征差异进行对应点匹配,剔除错误点对,解决点云部分数据缺失和噪声干扰的问题;最后,使用平均匹配距离作为度量改进ICP算法,对点云进行配准,解决初始位姿较差时配准精度低的问题。实验结果表明,该算法在初始位姿差、部分数据丢失和噪声干扰情况下的配准精度提高至少1个量级,配准速率也有较大提升,在鲁棒性和配准精度方面均表现出明显优势。

基于点模式匹配的直流输电VBE设备电路板缺陷检测方法

随着特高压直流输电技术飞速发展,换流阀阀基电子VBE(valve base electronics)设备的稳定性对于保障直流输电的可靠性和效率至关重要。VBE设备电路板缺陷,如短路和失效元件,直接影响直流系统稳定性,而现有的检测方法,包括人工显微镜检查和自动检测算法,常受限于效率低和准确性不足。针对该问题,提出一种基于点模式匹配的自动视觉检测方法,通过生成代表关键区域的点模式并进行匹配来提高检测的效率和准确率。通过实验验证,所提方法在检测速度和准确性方面相较于传统方法有显著提升,适合于生产线上的快速质量控制,为提高直流输电设备的质量提供了有效的技术方案。

基于深度学习的图像匹配:方法、应用与挑战

图像匹配旨在建立图像之间的点对应关系,是许多计算机视觉任务的关键环节.近年来,随着深度学习技术的发展,图像匹配方法已从以手工设计特征为主转变为基于深度网络的方法,基于深度学习的图像匹配方法在多个标准数据集上展现出卓越的性能,推动着多个相关应用的发展围绕图像匹配涉及的若干关键问题,如:特征点检测、特征点描述、稠密点匹配、误匹配去除,本文对深度学习图像匹配方法进行了系统性总结.首先分析了领域内基于深度学习的典型方法和关键技术,随后介绍了与图像匹配密切相关的几个典型应用并给出其现状分析,最后,根据对图像匹配领域技术发展的分析总结,结合作者在该领域的长期研究积累,本文给出了目前图像匹配所面临的主要挑战以及未来发展趋势。

基于双目视觉的列车轮对表面缺陷及型面参数检测方法

列车轮对表面缺陷及磨耗后的车轮轮型参数对列车安全行驶具有重要影响。搭建一种基于结构光与双目立体视觉相结合的非接触式列车轮对型面检测系统,设计针对车轮滚动圆直径、轮缘高度、轮缘厚度以及车轮擦伤的双目视觉无损检测方法。首先基于迭代最近点(iterative closest point,ICP)算法将各相机采集的车轮型面数据拼接为整体车轮点云三维模型;然后,从该三维模型中提取出滚动圆与轮缘顶点圆,基于最小二乘拟合法分别计算滚动圆直径、轮缘高度、轮缘厚度参数;最后,基于模式匹配方法检测车轮型面是否出现擦伤缺陷,并计算得到擦伤深度。检测结果表明:该列车轮对型面检测系统及表征方法对于滚动圆直径检测误差为0.22 mm,对于轮缘高度与轮缘厚度检测误差分别为–0.08 mm及0.07 mm,最大擦伤深度检测误差为0.18 mm。研究成果可有效检测列车车轮型面参数及擦伤缺陷,具有较强的工程应用价值。