基于RGB-D融合的实时物体检测方法

随着深度学习技术在工业中的广泛应用,目标检测技术作为深度学习和机器视觉中的关键技术,也在越来越多的应用中成为基本的构建模块。为提升算法的鲁棒性,使其能更好地适应光照较弱和过度曝光等不利环境,使用RGB与深度数据融合的方式构建模型,并使用可分离卷积、预设框优化以及损失函数优化的方式提升算法的检测速度与精度。最后使用采集的数据进行训练和测试,验证方法的有效性。

基于RGB-D融合的密集遮挡抓取检测

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于RGB-D图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富RGB-D特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于RGB-D像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOD数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YODO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.

一种基于邻域度量关系的RGB-D融合语义分割算法

针对深空探测活动中地外环境复杂和计算资源受限,导致语义分割精度较低的问题,提出了一种基于邻域度量关系的RGB-D融合语义分割算法。该算法采用多模态的RGB-D信息取代传统的单目相机数据,并以中期融合框架构建基础网络,且额外设计了邻域度量关系模块来优化表现。具体来说,中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作,实现跨模态数据以及跨层级特征的有效互补。进一步地,结合语义特征图与语义标签,以不增加网络推理开销的方法构建邻域度量关系,从全局及局部特征中挖掘样本类别之间的关联信息,提升分割网络的性能。分别在室内数据集NYUDv2和火星模拟场地数据集MARSv1上进行实验,结果表明多模态RGB-D信息以及邻域度量关系均能显著提升语义分割的精度。

基于张量分解融合RGB-D图像的物体识别

为了充分利用RGB-D图像的深度图像信息,提出了基于张量分解的物体识别方法。首先将RGB-D图像构造成一个四阶张量,然后将该四阶张量分解为一个核心张量和四个因子矩阵,再利用相应的因子矩阵将原张量进行投影,获得融合后的RGB-D数据,最后输入到卷积神经网络中进行识别。RGB-D数据集中三组相似物体的识别结果表明,利用张量分解融合RGB-D图像的物体识别准确率高于未采用张量分解的物体识别准确率,并且单一错分实例的准确率最高可提升99%。

基于Transformer-CNN混合架构的跨模态融合抓取检测

在机器臂抓取检测领域,RGB图像和深度图像的处理效率仍有很大提升空间.鉴于此,提出一种基于Transformer-CNN混合架构的新型跨模态交互融合的机械臂抓取检测方法.为了充分利用RGB和深度图像的特征信息,开发一种高效的跨模态特征交互融合模块,用来校准RGB和深度图像相对应的特征信息,并交互增强双模态的特征.此外,设计一种Transformer与CNN并行的网络模块,结合CNN的局部建模能力和Transformer的全局建模能力,获得更好的特征表示,从而提高抓取检测性能.实验结果表明,所提方法在Cornell与Jacquard抓取数据集上分别达到了99.1%和96.2%的准确率.在真实场景下的抓取检测实验验证了所提方法可以有效预测各种场景下物品的抓取位置.