基于特征融合和注意力机制的物体6D姿态估计算法

针对物体6D姿态估计易受目标物体的弱纹理和小体积特性、复杂背景、遮挡的影响,提出一种结合特征融合和注意力机制的物体6D姿态估计算法。首先,在RGB图像特征提取网络的首个卷积块中加入卷积注意力模块,提升弱纹理小物体的区域显著度;其次,在基于编解码结构的RGB图像特征提取网络中引入基于卷积注意力模块的跳跃连接,有效地将编码阶段的颜色、纹理等细节外观特征融合到解码阶段的姿态语义特征中,弥补姿态语义特征缺乏细节外观特征的问题;然后,使用通道注意力模块改进池化金字塔模块,增强目标物体可见区域与遮挡区域的联系,提升遮挡鲁棒性;最后,使用卷积注意力模块重构解码阶段输出的姿态语义特征,增强相似表面特征的区分度,从而降低外观相似物体对物体6D姿态估计的干扰。实验结果表明,该算法在Occlusion LINEMOD数据集和LINEMOD数据集上ADD(-S)指标分别达到73.4%和99.8%,与FFB6D相比,分别提升7.8百分点和0.1百分点,验证了该算法的可行性。

基于热力图和注意力机制的单目6D姿态估计算法

基于二阶段坐标解耦的单目6D姿态估计方法具有稳定、高效和训练速度快的特点,但在精度上还存在改进空间.提出了一种利用高斯热力图坐标回归和融合注意力的单目6D姿态估计算法.该算法在ResNet34骨干网络中引入融合注意力模块,使网络能够更好地学习物体的表面特征和空间信息;基于可微分空间坐标变换对平移量计算网络进行改进,能够更准确地预测坐标平移量.该算法使用基于密度层次化的聚类方法,建立点云的哈希索引,对所预测的3D点云进行约束,同时有效减少离群的3D采样点.在训练阶段,该算法使用合成渲染图像对LineMod数据集进行扩展,为网络训练提供丰富数据.实验结果表明,该方法的ADD(-S)指标和2D投影误差指标分别达到了93.27%和98.81%,相比基准方法CDPN分别提高了3.41%和0.79%,与PVNet和DPOD等比较新颖的算法对比显示出综合优越性.

融合注意力特征的遮挡物体6D姿态估计

在机械臂视觉抓取过程中,现有的算法在复杂背景、光照不足、遮挡等条件下,难以对目标物体进行实时、准确、鲁棒的姿态估计。针对以上问题,提出一种基于关键点方法的融合注意力特征的物体6D姿态网络。首先,在跳跃连接(Skip Connection)阶段引入能够聚焦通道空间信息的卷积注意力模块(CBAM),使编码阶段的浅层特征与解码阶段的深层特征进行有效融合,增强特征图的空间域信息和精确位置通道信息;其次,采用归一化损失函数以弱监督的方式回归每个关键点的注意力图,将注意力图作为对应像素位置上关键点偏移量的权重分数;最后,累加求和得到关键点坐标。实验结果证明,所提网络在LINEMOD数据集和Occlusion LINEMOD数据集上ADD(-S)指标分别达到了91.3%和46.3%。与基于关键点的逐像素投票网络(PVNet)相比ADD(-S)指标分别提升了5.0个百分点和5.5个百分点,验证了所提网络在遮挡场景下有更好的鲁棒性。

基于物体6D姿态估计算法的AR文物展示系统开发研究

本文针对文物展示系统在实际应用中存在的问题,提出了一种基于物体6D姿态估计算法的AR(增强现实)文物展示系统开发研究。本文首先对常用的6D姿态估计算法进行了介绍,并选择了适合文物展示系统的算法,然后进行了系统需求分析与功能设计,包括文物模型的建立与处理,以及基于6D姿态估计算法的文物模型对齐与跟踪,同时还进行了AR交互界面设计与用户体验优化,然后对系统进行了评估。通过对文物展示系统的设计思路与设计过程进行描述,以期为文物展示系统的开发提供一定的借鉴。

改进YOLO6D的目标姿态估计算法

针对三维空间下被遮挡和弱纹理目标物难以进行精确姿态估计的问题,提出了一种基于改进YOLO6D的目标姿态估计算法。首先,引入残差网络结构,解决了神经网络层数增加带来的梯度问题并加快模型收敛;其次,加入空间金字塔池化(SPP-CSP)模块使网络充分利用多尺度特征图信息来增强对目标物的特征提取。实验结果显示,改进后的网络在自建数据集上整体指标2D重投影上升了6.68%,5 cm5°上升了6.05%,在官方数据集Occlusion LineMOD上整体精度上升了8.74%,有效提高了目标姿态估计的整体检测性能。

融合残差注意力和标准偏差的6D姿态细化网络

在6D物体姿态估计领域中,现有算法往往难以实现对目标物体精准且鲁棒的姿态估计.为解决该问题,提出了一种结合残差注意力、混合空洞卷积和标准差信息的物体6D姿态细化网络.首先,在Gen6D图片特征提取网络中,采用混合空洞卷积模块替换传统卷积模块,以此扩大感受野、加强全局特征捕获能力.接着,在3D卷积神经网络中,加入残差注意力模块,这有助于区分特征通道的重要程度,进而在提取关键特征的同时,减少浅层特征的丢失.最后,在平均距离损失函数中,引入了标准差信息,从而使模型能够区分物体的更多姿态信息.实验结果显示,所提出的网络在LINEMOD数据集和GenMOP数据集上的ADD指标分别达到了68.79%和56.03%.与Gen6D网络相比,ADD指标分别提升了1.78个百分点和5.64个百分点,这一结果验证了所提出的网络能够显著提升6D姿态估计的准确性.

改进特征提取网络的6D目标姿态估计算法

为解决弱纹理目标和遮挡目标难以进行实时准确姿态估计的问题,在DenseFusion的框架上提出改进特征提取网络的6D目标姿态估计算法:(1)在图像特征提取阶段加入跳跃连接方法及注意力机制模块,使得深层特征与浅层特征有效融合,提高特征信息的丰富性和有效性;(2)在点云特征提取阶段使用PointNet进行点云的初始特征提取,采用K近邻法和全局池化,获得更丰富的点云特征信息;(3)将图像特征和点云特征进行密集融合进行姿态估计和优化。实验表明,改进后的算法在LineMOD数据集和Occlusion LineMOD数据集上的表现都优于DenseFusion算法,且改进的图像特征提取网络和改进的点云特征提取网络不论是单一使用还是叠加使用均能有效提高姿态估计的准确率。

合成数据驱动目标姿态追踪的快速收敛网络

目的受遮挡与累积误差因素的影响,现有目标6维(6 dimensions,6D)姿态实时追踪方法在复杂场景中表现不佳。为此,提出了一种高鲁棒性的刚体目标6D姿态实时追踪网络。方法在网络的整体设计上,将当前帧彩色图像和深度图像(red green blue-depth map,RGB-D)与前一帧姿态估计结果经升维残差采样滤波和特征编码处理获得姿态差异,与前一帧姿态估计结果共同计算目标当前的6D姿态;在残差采样滤波模块的设计中,采用自门控swish(searching for activation functions)激活函数保留目标细节特征,提高目标姿态追踪的准确性;在特征聚合模块的设计中,将提取的特征分解为水平与垂直两个方向分量,分别从时间和空间上捕获长程依赖并保留位置信息,生成一组具有位置与时间感知的互补特征图,加强目标特征提取能力,从而加速网络收敛。结果实验选用YCBVideo(Yale-CMU-Berkeley-video)和YCBInEoAT(Yale-CMU-Berkeley in end-of-arm-tooling)数据集。实验结果表明,本文方法追踪速度达到90.9 Hz,追踪精度模型点平均距离(average distance of model points,ADD)和最近点的平均距离(average closest point distance,ADD-S)分别达到93.24及95.84,均高于同类相关方法。本文方法的追踪精度指标ADD和ADD-S在追踪精度和追踪速度上均领先于目前其他的刚体姿态追踪方法,与se(3)-TrackNet网络相比,本文方法在6000组少量合成数据训练的条件下分别高出25.95和30.91,在8000组少量合成数据训练的条件下分别高出31.72和28.75,在10000组少量合成数据训练的条件下分别高出35.57和21.07,且在严重遮挡场景下能够实现对目标的高鲁棒6D姿态追踪。结论本文网络在合成数据驱动条件下,可以更好地完成实时准确追踪目标6D姿态,网络收敛速度快,实验结果验证了本文方法的有效性。