基于SuperPoint和SuperGlue的图像特征匹配

基于SuperPoint和SuperGlue算法原理,将两者级联在一起,实现了完整的深度神经网络图像特征匹配流程。基于设计的深度神经网络,选取4组多源图像数据进行了特征匹配,并与5种传统特征匹配算法进行了对比。实验结果表明:本文设计的深度神经网络在多源图像特征提取、描述和匹配中具有稳定性强、鲁棒性高、识别特征点多且分布合理、正确匹配率高等特点。

基于改进SuperPoint网络的视觉SLAM算法研究

针对传统视觉SLAM算法在视角变换和光照变化时易导致位姿估计精度低甚至跟踪失败等问题,启发于SuperPoint网络在特征提取上的强鲁棒性,提出一种基于轻量级SuperPoint网络的视觉SLAM算法(Light Weight SuperPoint network based-on visual SLAM,LWS-vSLAM)。首先,为解决SuperPoint网络编码层计算量过大引起的系统实时性下降问题,采用LWS-NET轻量化特征提取网络,该网络编码层采用轻量级注意力模型对图像特征进行降采样来减小计算量。其次,为解决在视角变换和光照变化环境下存在较多误匹配问题,利用LWS-NET网络的特征检测分类层的插值计算完成图像中优质特征点的筛选,并以优质特征点为中心进行区域内误匹配剔除。最后,将LWS-NET特征提取与匹配网络与ORB-SLAM2系统后端非线性优化、闭环修正和局部建图进行融合,设计一个完整的单目视觉LWS-vSLAM系统。在公共评测数据集TUM、KITTI中进行仿真实验,实验结果表明,算法平均每帧运行时间相较于SuperPoint缩短约30%,轨迹误差相较于ORB-SLAM2减少13.7%,显著提升了在视角变换和光照变化下的定位精度。

基于视频关键帧提取的快速T3D动作识别模型

视频级动作识别存在着数据量大、识别速度慢的问题,主要原因是需要提取空间维度上人体姿态,还需要考虑时间维度上动作关联。提出一种基于视频关键帧提取的快速T3D动作识别模型,通过改进的Superpoint网络提取视频关键帧,缩减数据量。以T3D网络为基础,时空分解其关键模块可变时序卷积层,显著提升了其计算效率。在公共数据集UCF-101和HMDB-51数据集进行了实验验证,准确率和原T3D网络近似,但其识别速度为原T3D网络的2倍,更适合于实际的应用场景。

基于超点图的点云实例分割方法

提出一种基于超点图的点云实例分割(ISPG)方法。基于超点图结构提取点云对象相邻点之间的关联性特征,并且将传感器扫描的场景划分为均匀的几何元素,用来表示同属性的点云类,再由一个图卷积网络实现实例分割。结果表明:IoU阈值为0.5的情况下,该方法在斯坦福大型三维(3D)室内空间数据集S3DIS上精度达到了48.9%。