基于颜色形状识别和PnP算法的单目视觉轨道边坡位移检测方法

针对现有的轨道边坡位移检测技术,提出了一种基于颜色特征形状识别和PnP算法相结合的单目视觉检测方法。以待测区域内的标志物为检测对象,采用图像处理与识别技术,提取出目标特征;利用单目摄像头找到图像中的目标标志物;根据PnP算法估算出标志物的位姿,由相机的映射关系计算出目标标志物到单目摄像头的距离,通过对比标志物变化前后的距离,从而得到轨道边坡的位移变化,最终实现对轨道边坡位移的实时检测,提高测量效率。测试结果表明,目标距离在1000—5200 mm内,检测位移误差范围在2%左右。

基于PnP算法的单目视觉位移测量方法

为实现结构位移的快速非接触式测量,建立结合棋盘格靶标和PnP算法的单目视觉位移测量方法。选取L-M、EPNP、IPPE和SQPNP等4种求解算法开展对比研究,以评价不同算法在位移测量中的适用性。通过Python编程进行仿真计算探究特征点数量、特征点定位误差、靶标变形、位移水平对算法求解精度的影响,为后续试验提供依据和指导。搭建三向位移视觉测量样机系统开展竖向及深度位移测量试验,验证PnP算法在位移测量中的可行性。结果表明:L-M、IPPE和SQPNP算法的求解效果优于EPNP算法,位移测量误差<0.5 mm。该研究提供了一种低成本、高精度的工程结构位移监测方法,可为相关工程应用提供参考。

基于PnP算法的前方车辆测距方法

针对路面起伏导致前方车辆距离测量偏差过大,提出一种基于PnP算法的前方车辆距离测量方法。以前方车辆的车牌作为靶标,采用深度学习算法SSD对车牌进行识别,获得车牌在图像中的位置坐标,根据PnP算法估计车牌的位姿,由相机的映射关系计算出目标车牌与本车的纵向和横向距离。该方法与地面是否起伏无关,仅与前方车辆车牌图像测量相关,通过靶标测试、虚拟场景和实际场景对算法的有效性进行测试,测试过程中表明,目标在5~30 m,车距的相对误差为1.4%,可实现较好的距离探测与预警。

基于视觉的地理定位中PnP算法的精度评估方法

近年来,基于地理位置服务的需求的飞速增长催生了定位技术的发展。基于视觉的方法利用多幅图像的拍摄参数关系能够恢复较精确的相机位姿,但目前并没有统一的评估方法对其性能进行定量评价。现今主流的相机位姿精度评估方法是与GPS进行比较,由于照片自带的GPS标签存在噪声,且不同坐标系之间的转换存在误差,将照片标签中的GPS作为真实值评估恢复的相机位姿精度不够客观。通过计算得到的位姿来建立参考平面,将PnP算法得到的相机位姿通过相同方法投影至参考平面进行评估,该精度评估方法客观可行。

基于改进YOLO6D的单目位姿估计算法研究

针对当前基于单目RGB图像的杂乱场景中低纹理物体6D位姿估计算法精度不高、实时性不强、模型复杂等问题,提出了一种基于改进YOLO6D的物体位姿估计算法。用纯卷积神经网络ConvNeXt替换原算法的主干网络DarkNet—19,将网络输出经过空间金字塔池化(SPP)处理后上采样,与低层特征图拼接实现特征融合,以提高网络的特征提取能力和多尺度能力。基于Focal Loss改进损失函数以提升网络的学习能力。根据物体的先验尺寸信息和几何特征,推导出更多的2D—3D点对以提高透视投影变换PnP算法的解算精度。在LINEMOD数据集上进行了实验,实验结果表明:以2D重投影5像素阈值为指标,本文算法在12个实验对象上的平均精度达到了95.60%,相较原算法提升了8.14个百分点,耗时约为60ms,性能显著提升。

基于单目视觉的机器人定位算法

目前用于单目视觉测量所采用的ArUco标定方法精度较低,无法满足高精度的定位和测距应用。提出了一种基于单目视觉的机器人定位算法,在原始标记周围使用额外的矩形图案进行增强,使其形成一个棋盘格的形状,并引入亚像素角点计算方法,精准定位标记角点坐标信息。最后,通过使用最小二乘法进行拟合,使用PnP算法计算相机相对于标记的空间位置信息,有效提高姿态估计和测距精度。测试结果表明,所提定位方法将深度方向提高了5 mm,误差仅为2 mm左右,相较现有的方法深度估计误差减小了66.7%,水平方向误差仅为1 mm。在复杂环境以及在部分遮挡的ArUco标记也能准确无误的识别。

基于LSD检测的无人机视觉着陆定位算法

针对复杂电磁干扰和拒止环境下固定翼无人机自主着陆的应用场景,提出了一种基于LSD的无人机视觉着陆定位算法,通过检测跑道的左右边线以及起始线对无人机进行定位;根据机场跑道的形态学特征,构建机场跑道数据模型,并对实验所用相机进行标定,采用灰度化和高斯滤波对采集到的图像进行预处理,采用LSD直线检测算法以提取跑道的直线特征,设计几何滤波策略从直线特征中提取出跑道的三条边线,采用蒙版技术以提高检测算法的抗干扰能力;根据相机成像原理推导出基于线检测的PNP定位算法,通过检测得到的机场跑道线在像素坐标系下的位置信息求出无人机相对于跑道的三维位置;分别在视景仿真环境和真实机场环境进行检测和定位解算,结果满足无人机着陆定位实时性和准确性的要求,从而验证了视觉着陆定位算法的有效性。

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题,设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点,并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练,经过验证,使用合成数据训练的网络也能在真实场景中有效工作。最后,搭建了一个基于机器人操作系统的UR5机械臂抓取平台,将训练好的模型部署到该平台上进行抓取实验,结果表明所提方法能够估计出目标物体的位姿,并在实际场景中抓取位姿未知的物体。

RGB-DSLAM前端视觉里程计的优化算法

针对视觉同步定位与地图构建领域中基于深度相机传感器的算法前端跟踪耗时长,精度差的问题,提出了一种RGB-D SLAM算法的前端视觉里程计实现方案。依据传统的视觉里程计实现方案,采用ORB特征提取算法对图像进行特征提取并计算描述子,与局部地图中地图点进行特征匹配,最后采用PnP算法计算相机位姿。为提高算法跟踪的精准度,提出在计算相机位姿后,利用三角测量进行局部地图中地图点深度的更新。实验采用TUM数据库中fr1系列数据集进行测试,结果表明,该算法在保证实时性的同时,使跟踪过程中的均方根误差平均减小了9.21%。且fr1系列两种数据集通过视觉里程计最后生成点云地图的图像信息熵比传统RGB-D SLAM系统平均提高了11.21%。

基于6D位姿识别面向任意物体的智能人-机协同递送

在日常实践中存在大量人与人之间的多样性物体递送需求,这可以依靠协作机器人来完成这些简单、耗时又耗力的任务.为此,针对人-机协同递送过程中无法精确识别物体位姿导致难以准确抓取的问题,引入基于Pn P算法(Perspective-nPoint)的物体6D位姿识别网络,实现待递送物体位姿的精确识别;提出改进的被递送物体数据集制作方法,实现面向任意物体的精准识别;通过视觉系统标定、坐标转换以及抓取方案改进,实现物体的精确位姿定位与准确抓取;为验证所提出的人-机协同递送系统的有效性,进行了基于LineMod数据集和自制数据集的人-机物体递送对比实验.结果表明,面向自制数据集的物体递送提出的人-机递送系统平均误差距离为1.97 cm,递送平均成功率为76%,平均递送时间为30 s;如不考虑抓取姿势,其递送成功率可达89%;具有较好的鲁棒性,应用前景良好.

基于椭圆检测算法的位姿快速测量技术

为了实现柔性臂末端位姿测量,提出了基于椭圆检测算法的柔性臂末端位姿快速测量技术。设计了一种新的靶标板,靶标板上面按一定规则排列了4个圆形特征。综合运用了椭圆快速检测算法、PNP算法。在Visual Studio环境下,利用C++和OpenCV库进行了代码实现,结果表明位姿测量准确、稳定。

面向AR虚拟沙盘的虚拟化身定位定向技术研究

在利用增强现实虚拟沙盘进行多人异地协同指挥或研讨时,本地操作者需要知道异地操作者的具体方向与位置来避免方向错误、位置冲突以更好地与对方交流。针对此问题,设计了适合AR环境的三维标记物,研究并实现了基于视觉的定位定向算法。采用Pn P算法对标记物进行位姿估计,使用面积比值法计算方位角。实验结果表明该算法可以实现快速精确地定位定向,能够满足AR虚拟沙盘实际应用需求。

基于单目视觉的实时目标距离测量

利用计算机视觉测量目标距离的方法广泛应用于机器人、军事目标跟踪、自主导航、精密检测等系统当中。研究和设计了一种基于单目视觉的目标距离测量的方法,实现了实时目标距离测量。首先,利用黑白棋盘格对单目摄像机进行标定,得到摄像机的内参,通过内参对目标模型注册,生成含有3D坐标、2D坐标、特征点以及ORB描述子的特征匹配文件。然后,通过RANSAC算法从匹配点中随机选取一些特征点,使用Pn P算法计算目标距离。通过实验,验证了该方法可以有效地对三维空间中的移动目标进行有效的三维距离测量。

前方车辆距离检测技术研究

为了实现汽车辅助驾驶系统对前方目标车辆的精确预警,文章对前方目标车辆测距方法进行了研究,采用车辆的车牌为参考靶标,利用机器视觉识别算法对车牌轮廓进行了检测,得到车牌的位置角点坐标,由PNP相机姿态算法求得前方目标车辆的距离,并设计了静态和动态测试场景对算法进行了验证,该方法与地面是否起伏无关,并在20米的范围内,相对误差小于0.25%。

用于吊具位姿估计的改进SIFT立体匹配方法

针对在传统立体匹配计算中存在的特征匹配耗时过长、错误特征匹配点较多以及位姿估计过程中存在的误差过大等问题,提出了一种结合Harris算子和极限约束改进的立体匹配算法,用于在机械吊具的位姿检测中获取更加精确的特征点。算法增加Harris算子的尺度参数,以弥补现有立体匹配算法中图像尺度不变性的缺乏;同时将SIFT算子替换成新的Harris算子进行角点检测,并引入极限约束条件提高角点定位精度。实验结果表明,经改进算法估计的吊具位姿与实际位姿基本一致,其可行性与实用性得到验证。

面向室内场景的主被动融合视觉定位系统

目的视觉定位旨在利用易于获取的RGB图像对运动物体进行目标定位及姿态估计。室内场景中普遍存在的物体遮挡、弱纹理区域等干扰极易造成目标关键点的错误估计,严重影响了视觉定位的精度。针对这一问题,本文提出一种主被动融合的室内定位系统,结合固定视角和移动视角的方案优势,实现室内场景中运动目标的精准定位。方法提出一种基于平面先验的物体位姿估计方法,在关键点检测的单目定位框架基础上,使用平面约束进行3自由度姿态优化,提升固定视角下室内平面中运动目标的定位稳定性。基于无损卡尔曼滤波算法设计了一套数据融合定位系统,将从固定视角得到的被动式定位结果与从移动视角得到的主动式定位结果进行融合,提升了运动目标的位姿估计结果的可靠性。结果本文提出的主被动融合室内视觉定位系统在iGibson仿真数据集上的平均定位精度为2~3 cm,定位误差在10 cm内的准确率为99%;在真实场景中平均定位精度为3~4 cm,定位误差在10 cm内的准确率在90%以上,实现了cm级的定位精度。结论提出的室内视觉定位系统融合了被动式和主动式定位方法的优势,能够以较低设备成本实现室内场景中高精度的目标定位结果,并在遮挡、目标丢失等复杂环境因素干扰下展示出鲁棒的定位性能。

基于亚像素的乒乓球机器人本体位姿视觉测量

提出一种基于亚像素精度的特征点提取算法,结合PnP方法和正交迭代(OI)算法计算乒乓球机器人本体的位姿.根据摄像机成像时弥散斑的近似高斯分布,以亚像素精度精确求取色标块的边缘,利用边缘直线交点得到高精度的角点作为特征点.基于PnP算法利用上述特征点求取机器人位姿的初值,再通过OI算法进行优化,以保证其姿态矩阵的正交性.实验结果表明,该方法能快速准确地实现机器人本体的位姿测量.