航天员混合现实训练与支持技术研究

基于航天员地面单人便携训练、多人协同操作训练、空间在轨操作辅助支持以及远程协同支持等工程任务需要,开展混合现实训练与支持技术研究。设计了航天员混合现实训练与支持的工程实现总体技术框架,针对航天员地面训练环境、在轨任务环境以及远程支持环境等特殊因素,对混合现实头盔头部位姿实时估计技术、多人协同操作技术以及远程支持场景匹配等关键技术进行研究。试验验证和航天员体验表明,技术方法有效、用户体验良好,满足空间站航天员地面与长期在轨典型性训练和支持任务需求,提高了训练支持质量和效率。

增强现实航天飞行训练系统空间定位

目的研究增强现实(augmented reality,AR)航天飞行训练空间定位问题。方法采用同步定位与建图(simultaneous localization and mapping,SLAM)技术提出增强现实航天飞行训练系统框架;构建包含图像获取,特征提取描述与匹配、相机位姿估计,图优化以闭环检测及构图的空间定位算法,并对算法进行实验验证。结果通过与高精度全站仪数据比较,验证了算法的测量精度和有效性。结论本文方法能够以主动方式向航天员提供飞行训练引导信息,减轻航天飞行训练认知负担。

三维点云关键点局部坐标系重构方法研究

为实现航天员混合现实训练中的虚实融合效果,克服虚实空间匹配技术中关键点处局部特征描述子匹配率低的问题,提出基于法向量DBSCAN聚类的三维点云关键点处局部坐标系构建方法。采用KD-Tree方法提取待匹配关键点处邻域点云数据后计算各点的法向量,再利用DBSCAN方法对法向量聚类,计算局部坐标系z轴并转换点云重构局部坐标系,消除深度传感器姿态因素对邻域点云坐标值的影响。实验结果表明:该方法在部分立体视觉数据集上的平均重复率为0.44,法向量聚类方法强化了光滑曲面在z轴估计中的权重,避免了散乱数据的影响。

面向航天员训练的混合现实场景理解方法研究

针对航天员混合现实系统在人机交互过程中尚未实现自主智能诱导的局限性,结合航天器舱内环境的特殊性,构建了一种航天员混合现实空间场景理解原型系统架构,提出了基于深度学习的空间场景自主理解方法,采用合成样本的方法建立了舱内设备数据库,实现了基于深度学习算法的自主舱内设备识别。实验结果表明,对舱内设备识别的mAP值达到79.8%,混合现实空间场景理解原型架构和场景理解方法可以有效解决航天员舱内训练设备操作状态变化的自然识别需求,并实现混合现实虚拟流程的自主引导。

航天器舱内结构语义三维重建

对航天器舱内结构进行三维重建是辅助航天员混合现实训练的有效途径,为进一步提高重建结果的适应性,需要对目标结构附加语义信息。首次将语义三维重建技术引入航天员混合现实训练领域,针对航天器舱内结构复杂、排列错落等特点,采用卷积神经网络和即时定位与建图相结合的方式做出针对性设计。在现有算法的基础上,对二维语义分割进行简化并增强,采用加权迭代最近点算法进行目标重建,采用加权平均的方式进行语义更新,充分考虑图像间的联系,利用条件随机场进行后端优化。试验结果证明,算法无论在二维语义分割、SLAM还是最终的语义地图方面都取得了较高的精度;同时运算速度更快,计算机资源占用更小。