基于FLoFTR算法的无人机实时在线地理定位

研制高效鲁棒的智能视觉定位方法是解决全球导航卫星系统(GNSS)拒止条件下无人机导航定位的重要途径之一。传统视觉定位方法存在精度较差、容易丢失定位的问题。本文提出一种FLoFTR算法,通过对高精度影像匹配算法LoFTR进行改进优化,在无人机计算平台上实现实时高精度定位。FLoFTR采用知识蒸馏方法压缩模型规模,提升推理效率,并通过改进特征提取模块和应用基于余弦距离的特征匹配方法,进一步降低了匹配时间并维持相当的匹配性能。在研制的软硬一体的平台上试验表明,优化后模型平均定位误差损失维持在0.1m以内,定位平均处理时间为47ms,定位速度提升超过7倍,可满足无人机定位的精度和实时性要求。

基于深度学习LoFTR算法的路面图像拼接

相比基于特征点的传统图像特征匹配算法,基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配.为获取较大范围且清晰的路面裂缝图像,并解决弱纹理图像拼接过程中发生的匹配对缺失问题,本文基于深度学习LoFTR(detector-free local feature matching with Transformers)算法实现路面图像的拼接,并结合路面图像的特点,提出局部拼接方法缩短算法运行的时间.先对相邻图像做分割处理,再通过LoFTR算法产生密集特征匹配,根据匹配结果计算出单应矩阵值并实现像素转换,然后通过基于小波变换的图像融合算法获得局部拼接后的图像,最后添加未输入匹配网络的部分图像,得到相邻图像的完整拼接结果.实验结果表明,与基于SIFT(scale-invariant feature transform)、SURF(speeded up robust features)、ORB(oriented FAST and rotated BRIEF)的图像拼接方法比较,研究所提出的拼接方法对路面图像的拼接效果更佳,特征匹配阶段产生的匹配结果置信度更高.对于两幅路面图像的拼接,采用局部拼接方法耗费的时间较改进之前缩短了27.53%.研究提出的拼接方案是高效且准确的,能够为道路病害监测提供总体病害信息.

联合LoFTR与自适应IRLS的立体测绘卫星高程误差检查

立体测绘卫星产品精度受多种因素的影响,采用一定的技术手段对立体像对接边的平面高程误差进行准确和全面的量测,不仅可以有效保障测绘产品的生产质量,还有助于检查影像内部可能存在的畸变和异常。本文提出了一种立体测绘卫星高程接边误差检查方法,首先通过LoFTR算法对具有重叠的异轨立体卫星像对进行特征匹配后获取大量的高精度匹配点;然后找出能够分别在两个像对上进行前方交会的匹配点,并计算这一位置的高程接边误差;最后通过自适应迭代再加权最小二乘法(IRLS)方法对单一区域中的匹配点对应的高程接边差的平均值进行稳定性估计,剔除检查结果中的异常值,得到可信结果。通过国产资源三号立体像对和高分七号立体像对的试验,证明了该方法达到的精度水平足以满足立体测绘卫星高程误差检查的精度需求,并验证了该方法的有效性。

基于LoFTR算法的图像拼接算法研究与实现

针对传统算法图像匹配准方法提取特征点不精确、鲁棒性低、低纹理下很难识别到特征点等问题,提出了一种新的局部图像特征匹配方法,替代传统的顺序执行图像特征检测,描述和匹配的步骤。首先在原图像提取分辨率为1/8的粗略特征,然后平铺为一维向量,并为其添加位置编码,将组合结果输入Transformers模块中的自注意力层和交叉注意力层,最后输入可微分匹配层后得到置信矩阵,为该矩阵设置阈值和相互最近标准,从而得到粗略的匹配预测。其次是在精细层次上细化良好的匹配,在建立精匹配之后,通过变换矩阵到统一的坐标下,实现图像重叠区域对齐,最后通过加权平局融合算法对图像进行融合,实现对图像的无缝拼接。使用Transformers中的自注意力层和交叉注意力层来获取图像的特征描述符。实验结果表明,在特征点提取方面,LoFTR算法比传统的SIFT算法,无论在低纹理区域还是纹理比较丰富的区域提取的都更精确,同时使用此方法得到的拼接效果比传统经典算法拼接的效果更好。

基于目标检测与特征匹配测距的输电线路防外破监测方法

本文基于双目摄像机,提出一种结合目标检测与特征匹配测距的输电线路外力破坏隐患检测方法,首先通过改进YOLOv4模型检测出图像中的隐患目标区域;再利用LoFTR模型对双目摄像机所拍摄左右图像中的隐患目标区域进行特征匹配,计算区域中若干特征匹配对的像素差均值对隐患目标进行测距。最终将隐患目标距离大于阈值的视为无关目标,排除误检,而对距离小于阈值的目标,则通过deepsort目标跟踪算法计算停留帧数,根据停留时长进行告警判读,实现自动化、高准确率、高实用性的输电线路防外破监测。

基于LoFTR特征匹配算法的羊只身份识别

在现代农牧业生产中,自动化家畜身份识别是提高育种选择和行为研究效率的关键环节。为了解决传统羊只身份识别方法耗时、成本高和准确性不足的问题,近年来学者们开始运用深度学习技术对羊只脸部生物特征进行学习,进一步实现身份识别。然而,基于羊脸图像的识别方法存在稳定性不足、识别性能波动等问题。因此,本研究开发了一种基于特征点匹配的羊只身份识别方法,即搭建LoFTR算法对羊脸特征点进行学习和匹配,该模型通过学习羊只面部的生物特征,实现了通过特征点匹配来识别个体身份的技术。针对以往研究中羊脸图像采集角度单一、识别效果不稳定的局限,本研究采集了89只小尾寒羊的多角度面部图像以提取更高质量的羊脸特征,并进一步构建了一个羊脸数据集用于模型的训练和识别。通过与经典的特征点匹配模型进行性能比较,试验结果表明LoFTR羊脸特征点匹配模型展现出更高的识别精度和效率。该模型在羊脸图像数据集上达到93.53%的平均识别准确率,而且平均匹配速率也达到了2.39 s。这一方法的应用有助于提高羊场的管理效率,推动羊场管理向现代化迈进。此外,提高羊只面部身份识别的准确性和效率,可以有效提高育种选择和行为研究的精度和速度,为农牧业生产提供更好的技术支持,促进行业的可持续发展。