基于三维关键点投票的物体位姿估计方法

针对单帧RGB-D图像进行物体六自由度位姿估计时,在物体遮挡、光线情况不良、低纹理情况下性能不佳的问题,本文设计了一种基于多网络特征融合(颜色特征提取网络和点云特征提取网络)的深度学习网络.首先,使用颜色特征提取网络提取RGB图像中的纹理特征,使用点云特征提取网络计算深度图中的点云特征,进行几何特征与纹理特征计算后,回归计算点云的关键点投票及实例语义信息.然后,通过投票聚类方式计算每个实例的所属类别和关键点位置.将RGB-D图像中的颜色信息与几何信息分别计算,由于后续操作需要充分考虑像素及点云的局部信息与全局信息,分别使用改进后的残差神经网络和RIPoint(residuals inverted point)网络提取数据特征.采用神经网络中的特征融合方法将颜色信息与几何信息充分提取,为后续模块提供更有效的点云特征.使用深度霍夫投票算法与均值偏移聚类算法计算实例的三维关键点坐标.最后,利用最小二乘拟合方法计算预测三维关键点的物体位姿参数.在LineMOD数据集和YCB-Video数据集上进行测试,实验结果表明:与六自由度物体位姿估计方法相比,本文模型预测的物体位姿准确率高于其他方法,平均准确率分别达到99.5%和96.9%.网络同时基本满足实时性要求,完成一帧RGB-D图像的多实例物体位姿估计时间需0.06 s.

基于合成数据集的多目标识别与6-DoF位姿估计

多目标识别及六自由度(6-DoF)位姿估计是实现物料无序堆放状态下机器人自动分拣的关键。近年来,基于深度神经网络的方法在目标识别及位姿估计领域受到广泛关注,但此类方法依赖大量训练样本,而样本的采集及标注费时费力,限制了其实用性。其次,当成像条件差、目标相互遮挡时,现有位姿估计方法无法保证结果的可靠性,进而导致抓取失败。为此,文中提出了一种基于合成数据样本的目标识别、分割及位姿估计方法。首先,以目标对象的3维(3D)几何模型为基础,利用3D图形编程工具生成虚拟场景的多视角RGB-D合成图像,并对生成的RGB图像及深度图像分别进行风格迁移和噪声增强,从而提高合成数据的真实感,以适应真实场景的检测需要;接着,利用合成数据集训练YOLOv7-mask实例分割模型,运用真实数据进行测试,结果验证了该方法的有效性;然后,以分割结果为基础,基于ES6D目标位姿估计模型,提出了一种在线姿态评估方法,以自动滤除严重失真的估计结果;最后,采用基于主动视觉的位姿估计校正策略,引导机械臂运动到新的视角重新检测,以解决因遮挡而导致位姿估计偏差的问题。在自行搭建的6自由度工业机器人视觉分拣系统上进行了实验,结果表明,文中提出的方法能较好地适应复杂环境下工件的识别与6-DoF姿态估计要求。

基于视觉的相机位姿估计方法综述

相机位姿估计是通过估计相机的位置坐标和环绕三个坐标轴的角度偏转,来描述其相对于给定场景的方向和位置,是自动驾驶、机器人技术等任务的重要组成部分。为帮助研究人员在相机位姿估计领域的研究,对相机位姿估计的研究现状和最新进展进行梳理。首先介绍了相机位姿估计的基本原理、评价指标和相关数据集;然后从场景关系搭建和相机姿态解算两个关键技术出发,对两阶段模型结构方法和单通道模型结构方法进行阐述总结,分别从核心算法和利用的场景信息不同上进行分类归纳分析,并对室内室外公开数据集上的表现作对比;最后阐述了该领域当前面对的挑战和未来的发展趋势。

基于改进UKF的自动落布车位姿估计

自动落布车位姿估计的准确性是影响其在纺织车间内同时定位与地图构建(simultaneous localization and mapping,SLAM)的关键因素。在进行自动落布车位姿估计时,遇到观测噪声异常变化或噪声协方差与算法不匹配等情况时,无迹卡尔曼滤波(unscented Kalman filter,UKF)难以准确估计小车的位置和姿态。针对此问题,将误差序列协方差估计与遗忘因子同时引入UKF进行改进,提出了一种改进的自适应UKF自动落布车位姿估计算法。通过误差序列协方差估计对观测噪声协方差矩阵R进行调整,引入遗忘因子对R进行自适应更新,进而得到自动落布车位姿的最优估计。实验结果表明,在高斯噪声环境下,改进的UKF算法比其他算法具有更好的鲁棒性和估计精度。改进后的UKF位姿估计算法代入Cartographer算法后建图误差值减小,表明此算法能够在室内复杂环境下达到更加精确的位姿估计。

采用辅助学习的物体六自由度位姿估计

为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明:所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。

泊车过程中车辆转向状态的分段位姿估计方法

针对泊车过程中转向系统非线性因素影响车辆位姿估计准确度的问题,提出了一种基于车辆转向状态的分段位姿估计方法,提高自动泊车过程中的车辆位姿估计精度。首先,通过试验对车辆运动学航迹推算法定位的误差来源进行分析,确定了转向过程的非线性因素对泊车过程中车辆位姿计算准确度的影响;其次,设计了基于车辆转向状态的分段位姿估计模型,使用LSTM对转向状态进行实时分类,分别训练混合模型进行位姿估计,并对分类结果与位姿估计结果进行后验修正;再次,构建泊车工况车辆横纵向位移数据集,基于数据集对所建模型进行训练和离线测试;最后,利用Python搭建在线测试平台,对模型进行位姿估计测试,并开展对比试验。试验结果表明:该方法能够将泊车过程中的车辆欧式距离误差控制在10 cm以内,航向角误差控制在1°以内。基于车辆转向状态的分段位姿估计方法研究,可以有效提高泊车过程中的车辆位姿估计精度,并具有较高的实时性和较好的鲁棒性。

基于多关键点检测加权融合的无人机相对位姿估计算法

针对无人机降落阶段中无人船受水面波浪影响导致图像产生运动模糊以及获取无人机相对位姿精度低且鲁棒性差的问题,提出一种基于多模型关键点加权融合的6D目标位姿估计算法,以提高位姿估计的精度和鲁棒性.首先,基于无人船陀螺仪得到的运动信息设计帧间抖动模型,通过还原图像信息达到降低图像噪声的目的;然后,设计一种多模型的级联回归特征提取算法,通过多模型检测舰载视觉系统获取的图像,以增强特征空间的多样性;同时,将检测过程中关键点定位形状增量集作为融合权重对模型进行加权融合,以提高特征空间的鲁棒性;紧接着,利用EPnP(Efficient perspective-n-point)计算关键点相机坐标系坐标,将PnP(Perspective-n-point)问题转化为ICP(Iterative closest point)问题;最终,基于关键点解集的离散度为关键点赋权,使用ICP算法求解位姿以削弱深度信息对位姿的影响.仿真结果表明,该算法能够建立一个精度更高的特征空间,使得位姿解算时特征映射的损失降低,最终提高位姿解算的精度.

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

基于TEASER算法的空间非合作目标位姿估计

基于点云的空间非合作目标位姿估计,常受到噪声影响.提出截断最小二乘估计与半定松弛(truncated least squares estimation and semidefinite relaxation,TEASER)与迭代最近点(iterative closest point,ICP)的结合算法,提升空间非合作目标位姿估计精度与鲁棒性.该方法包括粗配准与精配准两个环节:在粗配准环节中,基于局部点云与模型点云的方向直方图特征(signature of histogram of orientation,SHOT)确定匹配对,利用TEASER算法求解初始位姿;在精配准环节中,可结合ICP算法优化位姿估计结果.北斗卫星仿真实验表明:在连续帧位姿估计中,噪声标准差为3倍点云分辨率时,基于TEASER的周期关键帧配准方法的平移误差小于3.33 cm,旋转误差小于2.18°;与传统ICP方法相比,平均平移误差与平均旋转误差均有所降低.这表明所提出的空间非合作目标位姿估计方法具有良好的精度和鲁棒性.

基于中心点对特征的无序堆叠工件位姿估计算法

针对无序堆叠场景中工件相互遮挡导致的位姿估计精度下降的问题,提出一种基于中心点对特征的六维位姿估计算法。首先,模拟无序堆叠场景下点云目标多姿态随机摆放的物理环境,生成特征提取网络需要的带真实标签的数据集。进而,以中心点对特征构建离线阶段的全局特征描述。然后,对在线阶段的工件无序堆叠场景,利用动态图卷积神经网络(dynamic graph convolutional neural network, DGCNN)算法提取点云中心特征分数,确定工件中心点,并以此作为改进点对特征(point pair feature, PPF)算法的参考点。最后,使用IPA数据集和自采集场景数据对算法性能进行了验证。实验结果表明:所提算法降低了参考点选择的随机性,相比原始PPF算法在场景工件数目为30时平均准确率提升19.5百分点,5种工件场景下平均运行时间缩短29.00%。

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化完成在局部约束下的无人机位姿的优化和修正,避免估计位姿的误差累计导致无人机轨迹偏移。模拟矿井灾后复杂环境进行仿真实验,结果表明:基于视觉与激光融合的位姿估计算法的平均相对平移误差和相对旋转误差分别为0.0011 m和0.0008°,1帧数据的平均处理时间低于100 ms,且算法在井下长时间运行时不会出现轨迹漂移问题;相较于仅基于视觉或激光的位姿估计算法,该融合算法的准确性、稳定性均得到了提高,且实时性满足要求。

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。

工业机器人装配中基于相机位姿估计算法的单目视觉定位研究

为了提升工业机器人在装配作业中的效率和精准度,结合软指派算法进行研究,构建基于相机位姿估计算法的单目标视觉定位系统,并对其进行仿真验证。实验结果显示,在参数对成功率的影响实验中实验成功率最低为92.5%,在图像噪声对成功率的影响实验中成功率最高达到了97.5%,位置估计误差最大值不超过4 mm,旋转误差在伪特征点的数量为最大时得到了最大值7°。

基于改进YOLO6D的单目位姿估计算法研究

针对当前基于单目RGB图像的杂乱场景中低纹理物体6D位姿估计算法精度不高、实时性不强、模型复杂等问题,提出了一种基于改进YOLO6D的物体位姿估计算法。用纯卷积神经网络ConvNeXt替换原算法的主干网络DarkNet—19,将网络输出经过空间金字塔池化(SPP)处理后上采样,与低层特征图拼接实现特征融合,以提高网络的特征提取能力和多尺度能力。基于Focal Loss改进损失函数以提升网络的学习能力。根据物体的先验尺寸信息和几何特征,推导出更多的2D—3D点对以提高透视投影变换PnP算法的解算精度。在LINEMOD数据集上进行了实验,实验结果表明:以2D重投影5像素阈值为指标,本文算法在12个实验对象上的平均精度达到了95.60%,相较原算法提升了8.14个百分点,耗时约为60ms,性能显著提升。

基于SfM单目六自由度位姿估计数据集自动标注

为解决在训练物体六自由度位姿估计神经网络时,人工标注真实场景数据集困难的问题,提出一种自动生成大量单目六自由度位姿估计数据集的方法,可提高数据集标注效率和精度。考虑采集图象环境的光照、物体遮挡等条件,以单目RGB相机、物体三维模型作为输入,在运动恢复结构(structure form motion,SfM)算法框架中添加尺度先验信息约束,实现在真实场景快速生成大量用于六自由度位姿估计训练的数据集。以生活用品为例,分别制作无遮挡、有遮挡数据集,与现有六自由度位姿估计数据集作对比,使用神经网络算法验证根据该方法制作出数据集的可行性与有效性。

多层特征融合与混合注意力的物体位姿估计

在工业机器人抓取过程中,针对物体无纹理、存在遮挡、场景杂乱的情况下的6D位姿精确估计问题,提出一种多层特征融合与混合空间通道注意力的物体6D位姿估计算法。设计了一种垂直连接的双向特征融合金字塔网络,实现多层特征融合,提升对目标关键点的检测性能。嵌入混合空间通道注意力机制,聚焦空间和通道两个维度上的特征信息,增强模型的局部表征能力。在LineMod数据集及Occlusion LineMod遮挡数据集上的实验结果表明所提出算法的优越性及有效性,且能够有效处理背景杂乱及遮挡问题。

改进位姿估计环节的ORB-SLAM稠密建图算法

为提高ORB-SLAM2 (oriented fast and rotated brief, and simultaneous localization and mapping)系统的位姿估计精度并解决仅能生成稀疏地图的问题,提出了融合迭代最近点拟合(iterative closest point, ICP)算法与曼哈顿世界假说的位姿估计策略并在系统中加入稠密建图线程。首先通过ORB(oriented fast and rotated brief)特征点法、最小显著性差异(least-significant difference, LSD)算法和聚集层次聚类(agglomerative hierarchical clustering, AHC)方法提取点、线、面特征,其中点、线特征与上一帧匹配,面特征在全局地图匹配。然后采用基于surfel的稠密建图策略将图像划分为非平面与平面区域,非平面采用ICP算法计算位姿,平面则通过面与面的正交关系确定曼哈顿世界从而使用不同估计策略,其中曼哈顿世界场景通过位姿解耦实现基于曼哈顿帧观测的无漂移旋转估计,而该场景的平移以及非曼哈顿世界场景的位姿采用追踪的点、线、面特征进行估计和优化;最后根据关键帧和相应位姿实现稠密建图。采用慕尼黑工业大学(technische universit?t münchen, TUM)数据集验证所提建图方法,经过与ORB-SLAM2算法比较,均方根误差平均减少0.24 cm,平均定位精度提高7.17%,验证了所提方法进行稠密建图的可行性和有效性。

融合BlendMask的机械手臂抓取位姿估计模型

针对复杂场景抓取位姿估计速度慢、精度低的问题,基于BlendMask实例分割网络,结合实例分割与抓取位姿估计,设计了一种端到端的机械手臂抓取位姿估计深度模型GPNet。该模型首先依据图像2D信息,在BlendMask网络中增加抓取中心、抓取主方向估计分支,提升抓取位姿估计速度;其次采用霍夫投票获取抓取中心及主方向,提高了2D抓取位姿估计的精度与鲁棒性;然后采用椭圆筛选机制,有效地解决了由圆形物体任意性对抓取主方向估计的干扰;最后依据新的损失函数训练GPNet,并结合图像深度信息获得最终抓取位姿信息。以中国信息通信研究院工业互联网平台、工业和信息化部重点实验室抓取实验场景为对象进行抓取速度与精度验证,以9种物体为抓取目标,结果表明在平均每个场景6种抓取目标实例且有干扰物体遮挡的复杂场景下,所提模型位姿估计平均速度达到0.057 s,平均抓取成功率达到90.2%。

改进AMCL最优位姿估计的机器人室内定位控制

机器人在室内定位过程中存在定位精准度不高、定位时间长等问题,为此,提出改进AMCL最优位姿估计的机器人室内定位控制系统。构建机器人信息采集系统,采集机器人室内位置信息;改进阈值函数,对传感器信号实行去噪处理,为其精准定位打下基础;利用卡尔曼滤波数据,获得机器人的最优位姿估计,实现最终的机器人室内定位。实验结果表明,所提方法的定位误差均在0.3m以内,定位精准度更高,定位偏差小,定位效果较好。

面向无人机自主着陆的视觉感知与位姿估计方法综述

自主着陆技术是制约无人机(Unmanned aerial vehicle,UAV)自主性等级提升中极具挑战性的一项技术.立足于未来基于视觉的无人机自主着陆技术的发展需求,围绕其中的核心问题——着陆场检测与位姿估计,对近十年来国内外无人机自主着陆领域中基于视觉的着陆场检测与位姿估计方法研究进展进行总结.首先,在分析无人机自主着陆应用需求的基础上,指出机器视觉在无人机自主着陆领域的应用优势,并凝练出存在的科学问题;其次,按不同应用场景划分对着陆场检测算法进行梳理;然后,分别对纯视觉、多源信息融合的位姿估计技术研究成果进行归纳;最后,总结该领域有待进一步解决的难点,并对未来的技术发展趋势进行展望.