Registration Based on ORB and FREAK Features for Augmented Reality Systems

This paper proposes a novel registration method for augmented reality (AR) systems based on Oriented FAST and Rotated BRIEF (ORB) and Fast Retina Keypoint (FREAK) natural features. In the proposed ORB-FREAK method, feature extraction is implemented based on the combination of ORB and FREAK, and the feature points are matched using Hamming distance. To get good matching points, cross-checks and least median squares are used to perform outlier filtration, and camera pose is estimated using the matched points. Finally, AR is rendered. Experiments show that the proposed method improves the speed of registration to be in real time; the proposed method can accurately register the target object under the circumstances of partial occlusion of the object; and it also can overcome the effects of rotation, scale change, ambient light and distance. © 2017, Tianjin University and Springer-Verlag Berlin Heidelberg.

基于机器视觉的汽车压装衬套偏转角度测量

衬套安装的角度测量对于确保压装过程中汽车悬架与衬套的准确组装十分重要,现有的单目测量方法由于存在相机安装环境受限、测量准确率低的缺点而难以广泛应用。为提高衬套偏转角度的测量准确性,提出了一种基于特征匹配与径向基神经网络的衬套偏转角度测量方法。采用Hessian矩阵优化ORB算法,剔除误匹配对,提高ORB算法匹配性能;采用基准模板匹配策略,解决相机斜视状态下图像特征被遮挡导致的无法匹配问题,并将采集图像的特征点转换至基准模板上;通过引入径向基函数神经网络进行偏转角度软测量,拟合特征点与偏转角度的非线性关系,提高衬套偏转角度测量的精度。实验结果表明,所研究方法可以有效进行偏转角度测量,最大平均相对误差为2.72%,满足衬套偏转角度测量要求,在汽车生产过程中有一定的应用价值。

基于视觉图像的飞行区大型目标监视方法改进研究

机场飞行区现使用的场面监视方法存在着定位偏差较大、不稳定、易跳变、皆为点源定位等问题。针对这些问题,设计了基于视觉图像的飞行区监视方法,实现快速准确的目标检测和轮廓定位,使飞行区监视更加稳定精确。提出了一种基于MobileNetV3和YOLOv5的网络模型(以下称为MobileNetV3-YOLOv5),即在YOLOv5的主干中使用MobileNetV3,来提高对目标的检测速度和准确度;提出了一种基于优化特征点提取的改进定向快速旋转简报(Oriented FAST and Rotated BRIEF,ORB)算法,将图像分割成多个区域,分别提取每个区域的特征点,从而提高目标识别框内区域的特征点识别数量,再进行特征点聚类筛选,最后根据识别目标类型采用最小包围盒进行轮廓划分,得到目标的轮廓定位。试验结果表明:MobileNetV3-YOLOv5方法对比原始YOLOv5模型,在识别目标准确率方面提升5百分点,在效率方面提升14张/s;同时在0~60 m的范围内,轮廓估计误差仅为2.9%;体现了所提出的监视方法的有效性,可以提升飞行区监视定位准确性和运行安全性。

面向扑翼飞行机器人的电子稳像算法设计

在扑翼飞行机器人的飞行过程中,由于其特有的驱动方式,机身存在周期性的俯仰和滚转运动,导致航拍视频出现抖动,影响成像效果的清晰度和稳定性.为了解决这一问题,本文提出了一种基于ORB和滑动均值滤波的电子稳像算法,用于在线消抖处理.首先,针对扑翼飞行机器人航拍图像的抖动周期与机翼扑动周期相一致的特性,设计了一种估计算法来根据图像特征估计机翼扑动周期.这一算法能够更准确地捕捉到抖动的周期性特征,为后续的稳像处理提供了重要参数.其次,提出了一种与扑动周期相关联的运动滤波算法,能够根据不同飞行工况对滤波参数自适应地进行动态调整.本文提出的算法优点在于能够根据扑翼飞行机器人实际飞行情况实时调整参数,从而更好地适应不同的飞行工况,进一步提高了稳像效果.最后,为了验证算法的可行性和稳定性,将视觉成像装置搭载在扑翼飞行机器人上进行了飞行实验.实验结果表明,相较于常用的电子稳像算法,本文所设计的算法在扑翼飞行机器人中表现出更好的稳像效果.最后,总结了本文所提出的算法优点,并对未来研究方向做出了展望.

基于自适应几何约束ORB的红外双目测距方法

针对传统特征匹配算法计算效率低、误匹配率高和双目视觉测量精度不足等问题,提出了一种基于自适应几何约束和随机抽样一致性方法的ORB(Oriented FAST and Rotated BRIEF)红外双目测距方法。首先,通过FAST(Features from Accelerated Segment Test)算法与BRIEF(Binary Robust Independent Elementary Features)算法检测并描述关键点,采用快速最近邻搜索的算法完成特征点初始匹配。然后,根据初始匹配点对的斜率与距离选择相应的阈值,构建基于斜率与距离的几何约束,剔除明显错误匹配点对。最后利用随机抽样一致性方法去除异常点完成精匹配,结合热像仪标定参数计算出目标物体的距离。实验结果表明,改进的ORB算法与传统算法相比,具有较好的特征点质量和较高的测量精度,测距平均绝对误差为1.64%,具有较好的实用价值。

基于动态语义特征的视觉SLAM系统

针对视觉SLAM(Simultaneous Localization and Mapping)在真实场景下出现动态物体(如行人,车辆、动物)等影响算法定位和建图精确性的问题,基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping 3)提出了YOLOv3-ORB-SLAM3算法。该算法在ORB-SLAM3的基础上增加了语义线程,采用动态和静态场景特征提取双线程机制:语义线程使用YOLOv3对场景中动态物体进行语义识别目标检测,同时对提取的动态区域特征点进行离群点剔除;跟踪线程通过ORB特征提取场景区域特征,结合语义信息获得静态场景特征送入后端,从而消除动态场景对系统的干扰,提升视觉SLAM算法定位精度。利用TUM(Technical University of Munich)数据集验证,结果表明YOLOv3-ORB-SLAM3算法在单目模式下动态序列相比ORB-SLAM3算法ATE(Average Treatment Effect)指标下降30%左右,RGB-D(Red,Green and Blue-Depth)模式下动态序列ATE指标下降10%,静态序列未有明显下降。

塔机吊钩可视化系统的视频稳像算法

针对施工现场工况复杂,塔机吊钩视频稳像效果差的问题,本文提出了一种改进ORB特征匹配与固定滞后Kalman滤波相结合的吊钩视频稳像算法.在图像运动估计中,对经典ORB算法进行改进,采用了图像分块与自适应阈值的特征点提取,并引入图像四叉树算法提高图像特征点分布均匀性;在此基础上,采用背景补偿结合帧间差分法,快速识别局部运动目标并进行剔除,提高了全局运动参数估计的准确性;在运动滤波和补偿阶段,采用固定滞后Kalman滤波算法去除随机抖动分量,以获得视频去抖动的运动补偿参数,进而实现塔机吊钩可视化系统监控视频的稳像处理.实验结果表明:与经典ORB加Kalman滤波的稳像算法相比,本文所提出的稳像算法帧间变换保真度ITF提升了约9.12%,结构相似度平均值SSIM提升了约2.75%,获得了更好的稳像效果,且帧处理速率FPS达到了29.65 f/s,满足塔机实时监控要求.

一种基于机器视觉的精准注意力追踪系统

针对学生注意力分配困难和对学习影响等问题,提出一种基于机器视觉的精准注意力追踪系统。该系统包括图像采集装置和精准的注意力追踪算法。图像采集装置可以获得更清晰的眼部区域图像。瞳孔中心定位算法用轻量级的MobileNet v3替换VGG16(visual geometry group network),采用两级特征融合和中心关键点预测技术,提高了检测速度和准确率。该算法检测速度可达36帧/s,准确率为97.42%。视线追踪算法旨在解决头部偏移的影响,实现对视线的精确追踪。研发了一款面向学龄儿童的阅读认知评价交互软件。该软件利用采集到的视线坐标计算相关眼动指标,再通过心理学理论分析建模来评估学龄儿童的思维认知能力,为心理学和教育学相关领域研究提供了参考和借鉴。

基于动态阈值的视频场景切换检测

视频场景切换检测在视频处理领域十分重要,优秀的视频场景切换检测算法对于视频的后续处理,包括信息标注与特征提取等都具有很大的意义.本文以传统的图像处理方法为基础,结合ORB(oriented FAST and rotated BRIEF)快速特征描述子,分别实现图像的相似度估计.通过动态融合因子,将多种基本算法得到的相似度在完整算法中的价值量化,并根据邻帧相似度计算动态阈值,从而提高了算法的稳定性;另外通过流程规划,减少了算法中耗时长的部分的调用次数,最终实现了高效的视频场景切换检测.实验结果表明,视频场景切换检测的准确率有一定程度地提升.

动态场景下仓储机器人的视觉定位与建图

针对目前大多数室内仓储机器人的视觉定位与建图算法(SLAM)是假设机器人处在静态的环境,但是当场景中出现移动的物体时,机器人自身定位的准确性和稳定性易受到巨大影响,而其他室内定位技术比如超宽带、蓝牙等必须在无线信号覆盖的条件下工作的问题,提出一种面向室内仓储机器人在动态场景下的视觉SLAM算法:在基于旋转不变特征点的定位与建图改进算法(ORB-SLAM2)基础上,用几何对应神经网络(GCNv2)来替换基于图像金字塔的特征点提取算法;添加目标检测(YOLOv4)的语义线程,并且使用光流法来追踪特征点;然后通过运动一致性检测来识别图像中潜在的动态物体;最后剔除动态特征点后进行位姿估计。实验结果表明,在高度动态的室内场景下,提出的算法相对于ORB-SLAM2算法的绝对轨迹误差可减小95.56%~98.21%,能够有效解决ORB-SLAM2在动态场景下定位不准确的问题。

基于PROSAC的视觉SLAM特征匹配方法

当前视觉即时定位与地图重构技术(SLAM)的过程中,通常采用随机采样一致性(RANSAC)的图像特征匹配算法,随机估计图像模型容易造成算法时间复杂度不确定,进而导致图像匹配时耗过大,难以满足视觉SLAM实时性的要求。为了改善这一问题,使用渐进采样一致性(PROSAC)的算法对图像特征进行筛选,剔除误匹配特征点,有效改善了图像特征匹配的效率与鲁棒性,进一步增强了视觉SLAM的稳定性与实时性。试验验证表明,相比于当前视觉SLAM特征匹配算法,计算效率明显提升。

RB-SLAM:visual SLAM based on rotated BEBLID feature point description

The extraction and description of image features are very important for visual simultaneous localization and mapping(V-SLAM).A rotated boosted efficient binary local image descriptor(BEBLID)SLAM(RB-SLAM)algorithm based on improved oriented fast and rotated brief(ORB)feature description is proposed in this paper,which can solve the problems of low localization accuracy and time efficiency of the current ORB-SLAM3 algorithm.Firstly,it uses the BEBLID to replace the feature point description algorithm of the original ORB to enhance the expressiveness and description efficiency of the image.Secondly,it adds rotational invariance to the BEBLID using the orientation information of the feature points.It also selects the rotationally stable bits in the BEBLID to further enhance the rotational invariance of the BEBLID.Finally,it retrains the binary visual dictionary based on the BEBLID to reduce the cumulative error of V-SLAM and improve the loading speed of the visual dictionary.Experiments show that the dictionary loading efficiency is improved by more than 10 times.The RB-SLAM algorithm improves the trajectory accuracy by 24.75%on the TUM dataset and 26.25%on the EuRoC dataset compared to the ORB-SLAM3 algorithm.

基于ORB与RANSAC融合改进的图像配准

针对旋转不变性二进制描述算法(Oriented Fast and Rotated Brief,ORB)的尺度旋转性配准误差大,配准率较低及随机采样一致性(Random Sample Consensus,RANSAC)算法随机性强且不稳定的问题,提出一种ORB与RANSAC结合的快速特征匹配算法。首先,对特征点提取方式进行优化选择,消除特征边缘影响。之后构建简化的金字塔式尺度空间模型,改进分层图像的尺度空间结构,减少生成图像层数和数目;然后采用梯度方向改进传统ORB算法中的主方向提取模式,提高特征角点主方向的准确性。最后,通过构建分块随机取样检测的方式改进RANSAC算法,提高RANSAC算法的稳定性和图像配准的准确性。实验结果表明改进后的ORB和RANSAC融合算法在尺度和旋转配准方面性能有很大提高,并且配准的精度较传统ORB算法高,尺度配准精度提高55.41%,旋转配准精度提高26.66%。满足复杂图像快速精确配准拼接的精度和实时性要求。

适用于高精度同时定位与地图构建的均衡化亚像素ORB特征提取方法

在视觉同时定位与地图构建问题中,ORB(Oriented FAST and Rotated BRIEF)特征由于其高效、稳定的优点而受到广泛关注。针对ORB特征提取过程中存在的像点量测精度较低、特征聚集现象明显等问题,提出了一种适用于高精度SLAM的均衡化亚像素ORB特征提取方法。分析了精确特征定位的原理,对误差方程进行合理的简化并采用一种基于模板窗口距离的权函数计算方法,大幅降低了计算负担;设计了一种基于四叉树结构的特征均衡化方案,对包含特征的像平面空间进行有限次数的迭代分割,然后选取具有最优响应的特征。试验表明,本文方法进行特征提取的额外计算负担小于2.5 ms,在运行TUM和KITTI数据集时,ORB特征的量测精度分别为0.84和0.62 Pixel,达到亚像素水平,可以降低误差初值,提高光束法平差效率,并能够在满足特征总体分布规律的情况下,显著改善特征聚集的现象,有利于后续问题的稳健、准确求解。

基于改进ORB特征的多姿态人脸识别

为了克服通过全局特征以及每位个体单个模板样本进行多姿态人脸识别的不足,提出基于改进的ORB局部特征以及每位个体多个模板样本的多姿态人脸识别方法.首先改进ORB算子的采样模式提高算子对人脸视角变化的鲁棒性,并采用每位个体的多个训练样本建立模板库,然后提取并匹配测试样本与模板样本的改进ORB特征.在特征提取阶段,为避免关键点数目变化的干扰,对全部样本提取一致数目的关键点;在特征匹配阶段,采用基于模型和基于方向的双重策略剔除误匹配点对,使用匹配点对数目与平均距离评价测试样本与每个模板样本的吻合程度.对CAS-PEAL-R1和XJTU数据库的实验结果表明,改进的ORB特征具有更好的识别性能;与采用多个训练样本构建个体单个模板样本的方法相比,在训练样本数目相同的条件下,该方法能较好地避免姿态的干扰,具有更好的识别效果.与SIFT算子相比,ORB算子在特征提取与特征匹配2个阶段都具有明显的速度优势.

基于显著图的输电线路杆塔图像拼接方法

无人机拍摄的输电线路杆塔图像分辨率高且背景复杂,基于传统特征点的拼接算法在背景中检测出大量的特征点增加了图像匹配的时间,影响了杆塔的匹配精度。针对该问题提出了一种既稳定又具有较小时间开销的输电线路杆塔图像自动拼接方法,利用改进的显著性检测算法得到杆塔图像的显著图,将图像的前景与背景分离,减少了背景对图像中杆塔拼接效果的影响;并采用基于定向的加速分割检测特征(FAST)和旋转不变性的二进制鲁棒独立元素特征(BRIEF)描述子(ORB)特征点的图像匹配算法,以提高特征点提取和匹配的速率;最后利用多尺度融合策略得到最终的拼接结果。实验结果表明,所提方法具有较好的拼接效果和拼接效率。

运用DWT和ORB的图像篡改检测方法

针对数字图像常见的区域复制篡改方式和实时特征提取要求,结合离散小波变换(DWT)和ORB特征提取算法,提出了一种高效的数字图像区域复制篡改检测方法。该方法首先使用DWT将图像分解为LL、LH、HL、HH四部分;然后将ORB算法作用于LL部分,提取关键点,构建二进制描述向量r BRIEF;最后使用汉明距离匹配相似关键点,达到检测图像篡改的目的。通过实验结果证明,该方法不仅可以有效地检测出区域复制篡改图像,同时对平移、旋转、噪音和综合攻击后的篡改图像具备一定的鲁棒性,且与SIFT等算法相比具有更短的检测时间和更少的存储空间。

动态背景下基于ORB特征匹配的运动目标检测算法

为了能够实时地检测出运动目标,提出一个基于ORB(Oriented FAST and Rotated BRIEF)特征匹配和改进的帧间差分相结合的检测算法。首先运用ORB算法提取特征点,采用RANSAC(RANdom SAmple Consensus)方法求得变换矩阵参数之后获取全局运动补偿图像,然后用帧间差分法实现运动目标的检测。ORB特征点匹配的快速性和准确性与RANSAC方法去除异常点的有效性确保变换矩阵参数的计算准确,再结合帧间差分法快速完整地检测出前景目标。实验结果显示,该算法能够准确地检测出运动目标,并在一定程度上解决了实时检测的问题。

基于余弦相似度的改进ORB匹配算法

针对ORB(oriented FAST and rotated BRIEF)在匹配多相似区域图像时误匹配率高的问题,提出一种基于余弦相似度的改进ORB算法。该算法首先通过汉明距离(Hamming distance)最近邻匹配,计算匹配特征向量的余弦相似度;其次通过梯度计算法计算余弦相似度的最优阈值范围;然后将汉明距离高自由度最近次近邻粗匹配结果,利用余弦相似度不变性剔除不在最优阈值范围的匹配点;最后用RANSAC算法再次精确匹配。实验结果表明:该算法能在保证匹配特征点数以及实时性的基础上,高效降低误匹配率,尤其在匹配多相似区域图像时,可将原算法产生的误匹配率降低80%左右,同时该算法还超越了原算法在图像发生视角、旋转、尺度、模糊、光照变化时的适应性。

NSST域改进ORB的泡沫流动特征提取及加药状态识别

针对浮选泡沫表面图像动态变化、光照影响、噪声干扰导致流动特征难于提取的问题,提出了一种在NSST域改进ORB的泡沫流动特征提取方法,并应用于浮选加药状态识别。对相邻两帧泡沫图像NSST分解,对多尺度高频子带先通过尺度相关系数去除噪声再分为多个内层和外层,在各内层通过方向模极大值检测提取兴趣点,然后在本层和上下层通过非极大值抑制提取特征点,采用多尺度BRIEF描述子对特征点描述,结合泡沫的运动趋势动态调整搜索的匹配区域,根据匹配结果计算泡沫流动特征。最后,构建行列自编码极限学习机对泡沫形态、尺寸分布特征和流动特征进行融合,然后通过自适应随机森林对加药状态分类识别。实验结果表明,改进的ORB受噪声和光照影响小,流动特征检测精度和效率较现有方法有较大提高,能准确地表征不同加药状态下泡沫表面的流动特性,加药状态的平均识别精度达97.85%,较现有文献方法有较大提升,为后续的加药量优化控制奠定基础。