基于残差时移模块和双流网络的手语识别方法

目前存在的手语识别方法中,多模态图像被广泛使用,但多模态数据形式复杂,不易操作。此外,现存的手语识别方法无法有效聚合全局与运动区域局部信息。基于改善手语识别方法的目的,论文提出了一种仅使用RGB图像的基于残差时移模块与双流网络的手语识别方法。双流网络两分支改进为全局图像分支与运动区域局部分支,运动区域局部分支采用语义分割算法进行运动区域分割,解决了以往运动区域难以定位的问题。两分支通过数据融合将全局与局部信息有效聚合。在SLR500开源数据集上进行实验,该方法获得高达94.7%的识别率。

一种实时的三维语义地图生成方法

为了提高模块化机械臂分拣作业效率,研究了一种实时三维语义地图生成方法。该方法设计了一种改进的区域增长分割算法提高了分割效率和准确性,通过基于距离阈值的特征匹配方法得到候选模型,采用随机采样一致性(RANSAC)和迭代最近点算法(ICP)生成转变假设并对候选模型进行验证,获取物体位姿信息,保存于XML地图文件中,将其与机械臂末端位姿进行推理分析,得到抓取任务轨迹。实验结果表明,该方法满足作业实时性与准确性的要求。

动态场景下基于深度学习的语义视觉SLAM

针对基于静态场景假设的传统的同时定位与地图构建(simultaneous localization and mapping,SLAM)在动态场景中鲁棒性差、位姿估计准确率低的问题,提出了一种基于深度学习的语义视觉SLAM方法.该方法将语义分割技术与运动一致性检测算法相结合,首先用Mask R-CNN网络对图像进行语义分割,建立动态对象的先验语义信息,然后通过运动一致性检测算法进一步剔除属于动态物体的特征点,最后用静态特征点进行特征匹配和位姿估计.基于慕尼黑工业大学(Technical University of Munich,TUM)公开数据集对系统进行实验,结果表明,该系统在动态环境中较传统的ORB-SLAM2系统和DS-SLAM系统明显降低了绝对轨迹误差和相对位姿误差,提高了SLAM系统位姿估计的准确性和鲁棒性.

面向室内动态场景的视觉同时定位与地图构建语义八叉树地图构建方法

针对传统视觉同时定位与地图构建(vSLAM)系统在动态场景中无法有效去除运动物体及缺少可用于更高层应用的语义地图等问题,提出了一种可有效去除动态物体并构建表征室内静态环境的语义八叉树地图的vSLAM系统方法。首先,使用FastSCNN作为语义分割网络提取图像的语义信息,同时,利用金字塔光流法对特征点进行跟踪匹配。然后,使用步进随机抽样一致算法(Multistage RANSAC)通过多次执行不同尺度的RANSAC流程对特征点进行步进采样,再利用对极几何约束并结合FastSCNN提取的语义信息进行视觉里程计动态特征点剔除。最后,通过体素滤波降低点云冗余后构建纯静态环境的语义八叉树地图。实验结果表明:所提方法在公用数据集TUM RGBD的8个RGBD高动态序列中测试的相机相对位移误差、相对旋转误差和全局轨迹误差相较于ORBSLAM2系统有94%以上的提升,全局轨迹误差仅为0.1 m;相较于同类DSSLAM系统,动点剔除总耗时有21%的缩减。建图性能方面,经体素滤波后构建的语义点云地图与语义八叉树地图分别占据9.6 MB、685 kB的存储空间,相较于17 MB的原始点云,语义八叉树地图仅占用其4%的存储空间并因含有语义可用于更高层次的智能交互任务。