球形全景影像位姿估计的改进EPnP算法

球形全景成像可以克服透视成像视场角的局限,实现场景全覆盖的三维重建和量测。本文在普通影像位姿估计的EPnP(efficient perspective-n-point)算法上进行了改进和扩展,提出了一种稳健快速的球形全景影像位姿估计算法。首先,构建球形全景影像的投影模型,将EPnP算法的平面透视成像模型扩展到球面成像模型;然后,采用基于全景球心、像点、控制点共线条件方程的改进EPnP算法求解控制点的球形全景像空间坐标;最后,利用Horn绝对定位算法直接解算全景影像位姿。与球形全景影像位姿估计的后方交会算法的对比试验结果表明,本文提出的方法无须迭代求解,更为稳健快速,即使控制点数目较少也能达到高精度,基于非严格共中心拼接的全景相机,重投影误差可控制在3.00像素左右。

EPNP和POSIT算法在头部姿态估计上的实验比较与分析

单目视觉下的头部姿态估计问题就是利用单个相机获取的头部图像或视频信息来估计其姿态,即估计3个旋转角:俯仰角(pitch)、偏航角(yaw)和翻滚角(roll).本文进行了大量的模拟实验和真实实验,从噪声、点数、实时性等角度详细对比分析了2种通用的姿态估计算法EPNP和POSIT在头部姿态估计中的应用,结果表明POSIT算法在精度上略逊于EPNP算法,但前者在速度上具有较显著的优势,因此在实际问题中,需要在速度和精度上进行权衡来选择合适的算法.

基于YOLOv3和EPnP算法的多药盒姿态估计

针对机械臂药盒抓取操作中对药盒定位和姿态估计的要求,提出一种基于YOLOv3深度学习算法和EPnP算法相结合的多药盒姿态估计方法,此方法主要分为多药盒定位和姿态估计两部分;首先通过YOLOv3算法实现药盒的快速精确定位,并通过定位框分割出单个药盒;然后进行特征提取和特征匹配并估计单应矩阵;通过单应矩阵的透视矩阵变换求得药盒平面4个角点的像素坐标并作为EPnP求解所需的2D点,结合药盒先验尺寸信息在相机坐标系下构建药盒对应的3D点坐标以实现药盒姿态求解;通过结合OptiTrack系统设计了药盒姿态精度对比实验,结果表明,该算法充分发挥了YOLOv3算法兼具快速性和准确性的优势,并且具有良好的姿态估计精度,总体算法速度达到15 FPS,药盒姿态估计平均误差小于0.5°。

基于EPNP算法的单目视觉测量系统研究

利用计算机视觉进行姿态测量的方法已广泛应用于现代控制、导航、跟踪等多个领域中。研究并设计了一种基于P4P矩形分布的平面靶标和EPNP算法结合的单目视觉姿态测量方法。首先,利用单相机获取平面靶标图像,经图像处理后得到四个特征点的像素坐标,并使用EPNP算法进行姿态解算;其次,对姿态角测量误差进行了仿真分析,为提高姿态测量精度提供了理论指导和依据;最后,提出一种与高精度二维转台结合的坐标系配准方法,利用该方法对三个方向姿态角精度进行验证。实验结果表明:当绕x和y轴的转动角度在[-6°, 6°]时,姿态测量误差小于0.1°,可以满足测量应用需求。

基于视觉EPnP加权迭代算法的三维位移实时测量

单目视觉三维位移测量的关键在于获取相机位姿参数,该问题可通过n点透视(PnP)算法求解。为提高PnP算法精度,提出一种改进的EPnP加权迭代算法(WIEPnP)。WIEPnP通过对标志点设置权重系数,再进行迭代计算,从而降低标志点深度和图像噪声对算法性能的影响。用MATLAB仿真实验对比研究了6种PnP改进算法,结果表明,WIEPnP算法能有效降低标志点深度的影响并有效降低图像高斯噪声对算法结果的影响,且算法精度和耗时均满足现场应用需求。WIEPnP的有效性同样在样机实验中得到了验证:样机在x、y方向的测量误差均小于1 mm;在z方向,WIEPnP算法有效降低了深度变化的影响,使z方向的绝对误差也不大于3 mm。可见提出的WIEPnP算法在实时性和误差性能方面都具有较好性能,能够满足大多数三维位移实时测量要求。

自杀基因ePNP诱导小鼠巨噬细胞凋亡的研究

目的通过制作ePNP转基因小鼠,研究自杀基因ePNP对小鼠巨噬细胞凋亡的影响。方法实验分ePNP转基因小鼠组和野生型小鼠组,在体外培养的各组小鼠腹腔巨噬细胞中分别加入浓度为0、0.125、0.25、0.5、1.0和2.0μg/ml的前体药物氟达拉滨(fludarabine),采用活细胞计数试剂盒(CCK-8)检测腹腔巨噬细胞加药后的细胞存活率;其次,给ePNP转基因小鼠和野生型小鼠腹腔注射剂量分别为0、10、20、60mg/kg的fludarabine,分别采用流式细胞术和原位凋亡检测试剂盒(TUNEL法)检测加入fludarabine后腹腔巨噬细胞和组织(肺、脾)巨噬细胞的凋亡情况。结果 CCK-8检测显示给药后ePNP小鼠腹腔巨噬细胞存活率明显下降,尤其在浓度为2.0μg/ml,细胞存活率仅为10.8%±0.8%;其次,流式细胞术和TUNEL结果也显示给药后其腹腔巨噬细胞和肺、脾巨噬细胞凋亡明显增加,并且存在剂量效应关系。CCK-8、流式细胞术和TUNEL法均显示野生型小鼠给药后没有明显巨噬细胞凋亡。结论自杀基因ePNP能在前体药物fludarabine协同作用下,诱导小鼠巨噬细胞凋亡。

基于改进的YOLOv3与EPnP算法的几何体位姿估计

针对机器人动态几何体模型抓取操作中存在对模型检测和位姿估计的问题,提出了一种基于改进的YOLOv3算法和EPnP算法相结合的几何体模型位姿估计方法。首先为提升YOLOv3算法的检测效果,采用完全交并比损失函数(CIOU)计算位置回归损失,同时引入通道注意力机制(ECAnet),运用网络自适应性注意重要信息,调整特征图。其次预测几何体模型3D虚拟控制点的2D像素坐标,利用EPnP算法求解目标物体的位姿。实验结果表明,与传统的YOLOv3算法相比,改进的YOLOv3算法mAP和F1性能分别提高了约6%和3%,并且能够较好的得到模型的中心和3D边框尺寸,有较好的位姿估计精度,验证了该方法的可行性和有效性。

面向装配对接的双视觉测量试验系统优化标定方法

针对航空航天、轨道交通零部件装配对接测量与定位过程,为解决测量视场范围大、多种测量设备组合使用步骤烦琐等问题,对面向装配对接的双视觉测量系统标定方法进行了研究。通过构建双视觉测量系统模型,分析系统间各相机参数的关系,在单个双目系统中引入闭环约束,结合LM算法对单个双目系统中的相机参数进行优化,另外采用改进的EPnP算法对双视觉系统进行标定,并结合自行设计的双面一维靶标完成了双视觉系统的全局标定和坐标转换。模拟对接试验的结果表明,该优化标定算法在精度上优于传统算法,并在使用过程中简化测量步骤,提高测量效率。

基于ORB-SLAM2的移动机器人定位与建图研究

针对目前移动机器人已应用在服务、救援、医疗等方面,其工作环境也越加复杂多变等问题,为了应对环境的变化,机器人需要具备感知、运动和自主规划等能力。该文提出一种基于ORB-SLAM2的移动机器人定位与建图设计。利用EPnP、K-means++等算法相结合的方式,完成了移动机器人的同步定位与地图构建。

摄像机位姿的加权线性算法

针对摄像机位姿问题提出了一种加权线性方法,其关键思想是通过加权使经典线性方法的代数误差近似于重投影算法的几何误差,从而达到接近于最大似然估计(Levenberg-Marquardt简称ML)的精度.通过对经典DLT(direct linear transformation)算法和EPnP算法使用加权的方法,给出了加权DLT算法(WDLT)和加权EPnP算法(WEPnP).大量模拟数据和真实图像实验结果均表明,WDLT和WEPnP算法不仅能提高DLT和EPnP算法的精度,而且在深度较小的情况下优于Lu的非线性算法.

基于单目视觉的姿态自动测量方法

提出一种将EPnP算法和SoftPOSIT算法融合的单目视觉姿态自动测量方法.首先,利用EPnP算法计算得到立体靶标的位姿参数,并将该位姿参数作为SoftPOSIT算法的迭代初始值带入.其次,将SoftPOSIT算法计算位姿的的迭代过程与立体靶标结合,实现姿态的自动测量,并仿真验证了拓扑确定位姿的有效性.最后,为了验证姿态测量结果的精度,以高精度二维转台为基准,将立体靶标安装在二维转台中,通过控制转台转动角度得到靶标姿态的测量数据.实验结果表明,当转台转动角度在[-20°,20°]时,靶标姿态角α的测量结果标准差为0.20°,姿态角β的测量结果标准差为0.27°.

基于2D-3D双目运动估计的立体视觉定位算法

运动估计算法是影响立体视觉定位精度的重要因素,传统的3D-3D运动估计算法受噪声影响很大,计算精度不高。本文提出了一种基于2D-3D双目运动估计的立体视觉定位算法。算法不使用运动后的特征点3D坐标,而直接利用其2D图像投影坐标。首先,利用EPnP运动估计算法确定匹配内点和初始运动参数。接着,利用双目相机之间的2D投影几何约束,提出了基于Levenberg-Marquardt算法的2×2D-3D运动参数优化算法,利用确定的匹配内点和初始运动参数,使特征点在立体相机左右图像上的再投影误差最小,从而达到最优的立体相机2D-3D运动估计。仿真实验和户外真实实验表明:本文算法获得了很高的计算精度、鲁棒性,大大优于传统的基于3D-3D运动估计的立体视觉定位算法。

SLAM过程中的机器人位姿估计优化算法研究

为了在图像位姿估计过程中充分利用更多空间点信息及减少噪声的影响,本文提出了一种基于EPnP算法的相机位姿估计优化方法。该方法先基于EPnP算法估计相机位姿,再把得到的相机位姿和空间点位置都作为优化变量,与相机的观测数据一起构建关于相机位姿的最小二乘优化问题,进行BA优化,来提高位姿的精确度。同时在SLAM后端对不同时刻视觉里程计的位姿和回环检测的信息进行优化,再把优化后的相机位姿作为观测数据和激光雷达信息进行融合,从而进一步提高SLAM过程的可靠性。实验结果证明了本文所提出的算法在机器人室内自定位和建图方面的准确性和可靠性。

基于跑道灯光的计算机视觉辅助无人机着陆

针对夜间无人机着陆时标准跑道的灯光会加重图像处理的难度问题,提出一种利用跑道灯光辅助着陆的机器视觉方法。该方法参考标准跑道灯光设置,提取跑道灯光直线特征,对EPnP方法进行扩展,将直线特征表示成跑道平面上3个控制点的加权形式,利用奇异值分解的方法求出控制点在相机坐标系中的坐标,最后使用正交化方法解算出无人机相对于跑道的位置和姿态,为无人机着陆提供了引导信息。仿真结果表明:在距机场距离较远时,该方法能有效地引导其自主着陆。

基于单目视觉的天线副面并联调整机构相对位姿测量方法

为测量天线副面并联调整机构的相对位姿,研究了一种基于单目视觉的位姿测量系统.采用光源照射固定于动平台上的合作目标,结合滤光片等控制手段,利用单目相机采集非共面特征点的图像,获得高对比度的准理想图像.经过图像处理和平方加权质心法,提取出特征点的图像坐标,使用EPnP(Efficient Perspective-n-Point)算法进行位姿解算,最终可以得到并联调整机构的相对位姿测量方法.最后通过实验进行了精度验证,结果表明平移精度为0.1 mm,旋转精度为0.05◦,满足了实验要求,为并联机构的位姿检测提供了可行性思路.

增强室内视觉里程计实用性的方法

针对现有视觉里程计在实时性、鲁棒性和准确性之间难以协调统一的问题,提出增强视觉里程计实用性的方法.分别运用基于图形处理器的定向加速分割测试特征和旋转感知的二进制鲁棒基元独立特征以及K最邻近加速提取、匹配图像的特征点.根据Kinect有效的深度量程剔除深度误差较大的特征点.求解相机帧间运动时,首先采用高效n点透视快速求解相机帧间运动参数的估计,然后将其作为Levenberg-Marquedt迭代法的初值,优化相机帧间运动参数.在运动参数解计算过程中,使用随机采样一致排除特征外点的干扰.实验表明,文中措施可以提高相机运动轨迹的解算速度,在室内环境下获得的相机运动轨迹更准确,鲁棒性更强,因此适用于室内机器人导航及定位.

基于RGB-D图像的视觉SLAM算法研究

针对主流的RGB-D SLAM系统精度较低并且仅生成稀疏点云地图的问题,提出一种改进的SLAM系统。前端采用改进的ORB特征提取算法,改进特征点簇集的问题;后端综合利用EPnP与ICP算法进行相机位姿优化,提高位姿估计精度;并增加稠密点云地图构建线程,得到场景的稠密点云地图,以用于机器人的导航与路径规划。在TUM数据集上,使用Kinect V2相机将改进的SLAM算法与ORB-SLAM2算法进行实验比对,验证了改进SLAM算法的综合性能优于ORB-SLAM2算法。

无人机位姿测量的点特征视觉方法

针对无人机在动态环境下快速高精度定位的问题,提出了用单目相机对无人机上的人工特征点进行位姿解算的方法。在无人机上放置一定数量的小型LED灯,并将其作为视觉测量的特征点,并以其中一个点作为原点建立无人机机体坐标系。通过多场景测量确定特征点在机体坐标系下的三维位置,再将三维位置与特征点在图像中的成像位置相匹配,最后使用EpnP算法求解出无人机的位置和姿态。在实验部分,利用三轴移动平台和三维转台,分别对位置解算结果和姿态解算结果进行误差测量。试验结果表明,位置解算误差在2%以下,姿态误差在8%左右。同时,该算法的处理时间在2ms左右,该算法可以满足无人机对定位的实时性和精度的要求。

大场景三维重建中高精度相机位姿估计

针对大场景三维重建中的高精度相机位姿估计问题,提出了一种基于增量式运动结构估计的相机位姿估计算法。算法采用多种约束条件,去除图像特征误匹配,为增量式运动结构估计提供良好的匹配点对集合;引入EPnP方法解决3D-2D问题,提高算法鲁棒性与稳定性;利用光束法平差进行分块优化与全局优化,防止算法陷入局部最优状况。实验结果表明,该算法计算得到的相机位姿参数具有较高的精度。

基于神经网络的飞行员头位跟踪方法研究

针对飞行员座舱模拟训练中,传统的头位检测跟踪技术存在的头位检测精度不高、实时性不强、易受外界干扰等问题,结合深度学习方法,提出了一种基于级联卷积神经网络的头位检测跟踪方法。首先结合计算机视觉手段,对拍摄到的飞行员座舱内连续视频图像进行预处理,然后经过三层级联卷积神经网络对处理过的图像进行特征提取,检测人脸,同时完成脸部特征点标记,最后通过EPNP算法对标记过的人脸进行空间坐标解算,得到飞行员的头部姿态角,最终完成对飞行员头位的检测跟踪。实验结果表明,基于卷积神经网络的方法相比于传统方法检测精度高、实时性好、鲁棒性强。