基于改进关键帧选择的ORB-SLAM2算法

针对同时定位与建图(SLAM)算法精度不高且跟踪易失败的问题,提出了一种改进关键帧选择的ORB-SLAM2算法。通过ORB-SLAM2算法计算帧间相对位姿;在原有算法的基础上,增加旋转与平移量作为判定依据,决定是否创建新关键帧;针对移动机器人所安装的相机与机器人产生相对运动引发误拍摄,导致劣质关键帧生成的问题,设计了劣质关键帧剔除算法;基于RGB-D数据集与自主研发的移动机器人进行了实验验证。实验结果表明:改进的关键帧选择算法能够准确及时地选择关键帧,最优情况下定位误差约为原误差的51.9%,有效消除了相机与机器人之间相对运动产生的影响,直线误差仅为原误差的82.1%。改进算法能够有效提高定位精度,减少跟踪失败。

基于改进关键帧选择的ORB-SLAM3算法

针对视觉同时定位与地图构建(VSLAM)领域关键帧选择方法多为启发式阈值的方式,容易存在定位精度不高等问题,提出了基于改进关键帧选择的ORB-SLAM3算法。该算法从考虑关键帧质量出发,采用如下三个标准代替ORB-SLAM3中启发式阈值方式:首先是基于几何约束的自适应关键帧阈值,确保特征点数量充足;其次是基于图像质心原理的分布标准,确保特征点分布均匀;最后是惯性测量单元(IMU)加速度状态观测。在EuRoC数据集下的实验结果表明,所改进的算法在不使用启发式阈值的情况下,单目惯性模式下将ORB-SLAM3定位精度提高了9%,双目惯性模式下定位精度提高了6%,表现出更好的鲁棒性和构图能力。

基于改进关键帧选择的RGB-D SLAM算法

关键帧选择是提高视觉SLAM(simultaneous localization and mapping)算法精度及实时性的重要因素.关键帧常以图像的帧间相对运动距离为选择依据.该方法虽简单有效,但实时性、鲁棒性较差且容易产生大量冗余关键帧.针对上述问题,提出一种改进的关键帧选择算法.该算法整合了帧间相对运动距离、帧间特征点跟踪以及最小视觉变化来选择关键帧并删除冗余关键帧.基于该算法,结合具有较好方向和光照不变性的ORB(oriented FAST and rotated BRIEF)特征,实现了RGB-D SLAM算法.在RGB-D数据集上的实验表明,改进的关键帧选择算法能够更精准、及时地选择关键帧,并在减少RGB-D SLAM中冗余关键帧的同时提高算法的实时性、建图和定位精度.

FSAGN:一种自主选择关键帧的表情识别方法

由于在包含表情的视频数据集中存在大量与表情特征无关的视频帧,使得模型在训练中学习到大量无关信息,导致识别率大幅下降,因此如何令模型自主地选择视频关键帧成为研究的关键。在已有的视频表情识别方法中,大多没有考虑关键帧和非关键帧对模型训练效果的影响,为此提出了一种基于注意力机制与GhostNet的人脸表情识别(FSAGN)模型。通过自注意力机制与帧选择损失计算不同帧的权重,根据权重自主选择视频序列的关键帧。此外,为减少模型参数、降低模型的训练成本,将传统的特征提取网络替换为训练参数较少的GhostNet网络,并与注意力机制结合,分别在CK+和AFEW数据集中进行了实验,得到的最高识别率分别为99.64%和52.31%,分类正确率具有竞争力,适用于对视频序列较长且在视频序列中表情特征分布不均匀的面部表情识别。

基于视觉测量的GPS导航关键技术研究

针对民用GPS误差大、遇到建筑物信号衰减和不稳定的问题,研究了基于普通摄像机的高精度导航算法,提出了一对多的特征匹配方法提高位姿估计的准确度,利用初始匹配结果建立加权图,依据博弈理论提取出最大团,对传统的收敛动力学从初值选择、内存消耗、计算速度等方面展开研究,在特征点数量一定的条件下提高了成功匹配的数量.

针对视频语义描述模型的稀疏对抗样本攻击

在多模态深度学习领域,尽管有很多研究表明图像语义描述模型容易受到对抗样本的攻击,但是视频语义描述模型的鲁棒性并没有得到很多的关注。主要原因有两点:一是与图像语义描述模型相比,视频语义描述模型的输入是一个图像流,而不是单一的图像,如果对视频的每一帧进行扰动,那么整体的计算量将会很大;二是与视频识别模型相比,视频语义描述模型的输出不是一个单词,而是更复杂的语义描述。为了解决上述问题以及研究视频描述模型的鲁棒性,提出了一种针对视频语义描述模型的稀疏对抗样本攻击方法。首先,基于图像识别领域的显著性分析的原理,提出了一种评估视频中不同帧对模型输出贡献度的方法。在此基础上,选择关键帧施加扰动。其次,针对视频语义描述模型,设计了基于L2范数的优化目标函数。在数据集MSR-VTT上的实验结果表明,所提方法在定向攻击上的成功率为96.4%,相比随机选择视频帧,查询次数减少了45%以上。上述结果验证了所提方法的有效性并揭示了视频语义描述模型的脆弱性。

面向异构时序数据的关键帧动态采样行为识别

为了解决接触式行为感知数据存在冗余的问题,提出了关键帧动态采样行为识别网络(KDAS)。首先,使用双向长短期记忆(BLSTM)网络搭建行为识别的预处理模块,用于原始感知数据状态的初始化并获得初始行为预测结果;其次,基于每一数据帧的初始化信息,利用BLSTM网络构建关键帧选择网络,通过该网络预测每一数据帧被选中的概率,从而确定关键帧;最后,使用被选中的关键帧再次进行行为预测,并将2次预测结果合并,形成效用函数,用于训练关键帧选择网络。在UCI HAR,Opportunity和UCI mHealth三个公开数据集上进行了实验,实验结果表明,用KDAS能够显著提高行为识别的准确度和F1值。

视频检索中图像信息量度量

综合考虑信息量度量的速度、性能要求,提出了相适应的显著图、多特征融合模型;基于区域划分融入空间关系,提出了分块信息熵的图像信息量度量方法(SEII);构建了信息量度量的标注数据集,并设计了性能验证方法。实验结果表明该度量方法符合人眼视觉的评价结果。度量方法在实际视频检索系统中进行对比应用测试,测试表明m AP提高4.4%,检索速度提高1.5倍。

一种基于时空变化信息的视频内容检索方法

提出一种基于时空变化信息的视频内容检索方法.此方法以自适应变间隔关键帧选择策略提取镜头在时间域上的变化内容,采用时空注意力模型提取空域显著内容;然后对每一显著区域按Mpeg-7标准抽取相似纹理描述子、可扩展颜色描述子和基于轮廓的形状描述子,联合三低层视觉特征进行显著区域间的匹配度计算;最后提出用于视频检索的两镜头相似度匹配算法.对比实验表明该方法能有效进行基于内容的视频检索.