基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

浅谈数字化设计对产品包装的影响——以三维可视化立体模型为例

随着科技的不断发展,三维可视化技术已被应用于多个领域。三维可视化技术是一种将三维模型转化为二维图像的技术,可以将复杂的产品结构、工艺流程、装配方式等信息以三维的形式呈现出来,让人们更加直观地了解产品。对产品包装设计的数码设计来说,三维可视化技术已经逐渐成为产品包装设计和营销中不可或缺的一部分。利用三维可视化技术,可以更直观地展现产品的外包装、功能、性能等信息,从而吸引更多的消费者,提高产品销量。本文以三维可视化的立体模型为例,主要阐述了产品包装设计的数码设计效果。

植物立体可视化模拟系统原型StereoPlants的构建

随着虚拟植物可视化研究的深入,植物群体以及复杂的植物器官或微观显微结构模拟已成为趋势。目前植物模拟中可视化结果展示方式多是对渲染的图像进行平面显示,不便于对大场景植物群体或复杂微观显微结构可视化结果的认知。为此,该文提出并实现了一个立体显示植物模拟的系统原型,该系统完成植物可视化立体内容的生成到立体展现,系统的软件部分基于跨平台的FLTK界面库与OpenGL图形库完成植物模拟立体可视化架构,支持对现有的基于该图形库的可视化模拟模型的移植,硬件部分由计算机与被动式立体展示系统组成。为了测试系统的可行性与有效性,在立体可视化框架上移植现有植物根系可视化模拟,结果显示,该立体显示植物模拟系统原型可生动地、沉浸地立体显示植物可视化模拟。该原型系统使得植物群体以及复杂的植物器官或微观显微结构的可视化更直观、更容易被认知。

面向载人探月的宽基线相机视觉定位方法研究与地面试验场验证

针对载人月球车速度较快,远距离测量精度要求更高的特点,研究利用宽基线双目相机提高其测量精度以支撑其自主导航定位能力。提出一种面向载人探月场景的宽基线双目相机视觉定位方法,基于宽基线成像特点优化特征点提取与匹配过程,通过特征点重投影误差与深度距离阈值设定保留更多远距离物方点参与位姿计算和优化,提升位姿估计的精度。基于所搭建的宽基线立体相机开展了不同基线条件下的视觉定位实验数据采集与实验。与经典的ORB⁃SLAM2算法进行比较,实验结果表明:所提出的算法针对于宽基线实验数据能够取得更优的定位结果,终点的相对位置偏差指标不超过3.1%。初步验证了宽基线导航相机架构在类地外天体场景下的可行性。

结合视觉舒适度的无参考立体视频稳像效果评价

立体视频稳像效果评价是评价立体视频稳像算法性能的有效途径.针对当前缺乏立体视频稳像效果客观评价方法的问题,提出一种结合视觉舒适度的无参考立体视频稳像效果评价方法.将立体视频稳像前后的运动平滑度和视觉舒适度变化作为视频稳像前后的变化特征,结合主观评价训练得到立体视频稳像效果评价的支持向量回归模型;回归模型通过学习立体视频稳像前后的变化特征与主观评价结果之间的关系,最终获得直接评价任意立体视频稳像效果的能力.使用收集的55条仿真视频训练模型,并在10条真实视频上进行实验的结果表明,所提方法的稳定性较好,在视频量达到180条时,模型的评价结果趋于稳定,且模型评价结果与主观评价结果相关性达到93%,可用于立体视频稳像效果的客观评价.

孟赛尔色立体的全色域网格化混色模型构建及其可视化

为了解决孟赛尔色立体难于构建的难题,在分析孟赛尔色立体的色彩分布及色相体系、明度体系、彩度体系的基础上,研究并给出了基于七基色(赤道色相环上的5个主色和灰度轴上的南极色与北极色)的数字化混配,获取孟赛尔赤道色相环、灰度轴、边缘色、中间色以及构建孟赛尔色相体系、明度体系、彩度体系的方法;研究并给出了基于孟赛尔色相等级、明度等级、彩度等级的定义构建孟赛尔色立体网格化模型的方法,进一步得到了各网格点对应的位置坐标、颜色值以及七基色混合浓度值的数学表达式;以20色相孟赛尔色立体为例,由赤道色相环上5个彩色主色和灰度轴上南极色、北极色组成的七基色出发,基于构建的孟赛尔色立体网格化模型及网格点颜色值计算方法,获取了20个等色相面色,11个等明度面上678个网格点的颜色值;最后编制的算法程序,给出了20个等色相面色,11个等明度面色谱,实现了孟赛尔色立体色谱的可视化,验证了基于七基色的数字化混色构建孟赛尔色立体的可行性。

面向机器人导航的双目立体视觉处理器综述

随着机器人产业的快速发展,机器人技术已成为推动生产力提升的新动力,特别是三维重建、避障导航等技术的重要性日益凸显。基于飞行时间(Time of Flight,ToF)和结构光等主动式三维成像技术受限于自身分辨率较低、缺乏色彩信息和易受环境光干扰等因素,表现不够理想。因此,能够实时精确输出稠密深度和色彩信息(RGB D)的被动式双目立体视觉传感器在自主移动机器人、汽车和微型无人机等领域得到了广泛应用。然而,双目立体视觉技术通过模仿人类双眼计算视差来提供深度信息,计算复杂度高且依赖于通用计算平台,导致双目立体视觉处理器面临着高能耗和高延迟等问题,这限制了该技术在高速场景、小型机器人和边缘计算等领域的应用。近年来,那些集成了立体视觉算法专用硬件加速器的双目立体视觉处理器在学术界和产业界引起了广泛关注。本文首先系统阐述了双目三维立体视觉的理论基础及其在机器人立体视觉的应用实例,接着介绍了双目立体视觉处理器的组成结构,包括图像获取、相机标定与校正、立体匹配等核心部分。为便于立体视觉硬件开发者参考,本文根据双目立体视觉系统的核心组成结构,分别综述了基本概念、研究现状和难点与挑战,并特别关注和对比了新型硬件计算架构。

基于视觉伺服的水下机器人导引技术

自主水下载具(AUV)需要通过停靠入站进行休眠、电池充电、传输数据等任务的需求。AUV的导引技术对延长AUV的工作时长、扩大作业范围有重要意义。在入站过程的最后阶段,AUV需要在容许范围内保持自身与对象物的相对位姿(包括位置和方向),进而完成对接。因此,确保传感器单元和控制系统在真实的水下环境中对各种干扰具有高度精确性和鲁棒性至关重要。针对此问题,提出了一种基于视觉伺服的AUV的导引技术。首先,该技术通过模型匹配认识法确定机器人与指定标的物(对象物)之间的相对位姿来确定自己的方位。其次,通过遗传算法(GA)以完成实时的位姿认识,抵消水流、图像采集干扰带来的视觉伺服干扰。采用此方法的水下机器人控制系统分别在与东京大学合作的模拟深海水下无光环境实验,以及真实海洋环境中完成了实验验证。实验结果证明,该系统具有对低照度、高浊度引起的图像劣化以及水流引起的控制干扰具备抗干扰性和鲁棒性。

一种基于粒子滤波的双目视觉惯导SLAM技术

针对智能无人系统的定位与地图构建问题,提出一种基于粒子滤波的双目视觉惯导SLAM(即时定位与地图构建)方法。算法基于传统粒子滤波思想设计实现,后端处理时仅对位姿状态量进行滤波,有效解决了传统算法的维度爆炸问题,减少计算量的同时保证一定的精确度,兼顾SLAM算法精确性和即时性的要求。实验结果表明,方法整体定位精度相对误差低于5%,在光照条件适宜的小型场景效果更佳,误差低于3%,能够达到分米级精度,证明了SLAM方法能够完成SLAM系统的要求,实现即时定位与地图构建功能,具有一定的准确性、稳定性和鲁棒性。粒子滤波能够应用于视觉惯导SLAM领域并达到较高的精度要求。

基于ECG和眼动信号的显示模式视疲劳测量

本文以2D和3D显示为研究载体,采用主观问卷、ECG、眼动信号和视功能参数相结合的测量方法研究不同显示模式对视疲劳的影响。结果表明,观看3D显示后,最佳矫正远视力(BCDVA)、泪膜破裂时间(TBUT)、瞳孔直径和香农熵的相对变化量均显著大于观看2D显示后的相对变化量。50 min后,观看2D和3D显示引起的峰峰(RR)间期值和心率(HR)相对变化量的差异逐渐增加。不同类型显示模式对主观打分症状、视功能参数、心电参数和眼动参数产生不同的影响,观看3D显示后引起的视疲劳比观看2D显示大,特别是50 min以后观看3D显示引起的疲劳程度显著大于观看2D显示,这对于3D电影制作具有参考价值。

基于自适应窗口和改进Census变换的半全局立体匹配算法

针对基于Census变换的立体匹配算法匹配精度不理想、易受噪声干扰的问题,提出一种自适应窗口结合改进Census变换的方法。通过自适应选择变换窗口大小,并在Census变换中引入噪声容限参数,且将其改进Census代价与RGB颜色差值代价加权融合,再采用四路径代价聚合策略完成初始代价聚合,最后用WTA算法计算初始视差后通过后处理优化得到最终视差。实验结果表明所提算法误匹配率较低,抗噪性能有较好提升。

Web端实景三维注记可视化技术研究

目前Web端对海量三维注记的可视化存在技术难点,基于前后端结合渲染、基于有向距离场的瓦片生成、基于屏幕空间的注记避让等技术,提出了在Web端Cesium框架下高效加载立体注记的解决方案。该方案在某省地理信息三维数据库管理系统三维可视化中取得了良好的应用效果,注记加载效率、易读性和清晰性均优于传统方法,大大提升了Web端实景三维场景下立体注记的可视化表达效果,为实景三维中国建设提供了重要的基础技术支撑。

农业场景下移动机器人的双目视觉定位与地图构建方法

视觉定位与地图构建是实现移动机器人自主导航的关键技术。针对农业场景下特征跟踪困难、场景规模大、运动不稳定引起系统精度和鲁棒性下降的问题,提出了一种适用于农业场景的双目视觉定位与地图构建方法。该方法首先利用静态立体匹配点来增加跟踪阶段地图点的数量和覆盖范围,从而增加了深度计算的准确率,同时提出一种点选择算法对密集地图点进行采样并移除离群点,进一步提高了系统的准确率和运行效率;然后通过显式尺度估计来减小大规模场景下定位与地图构建的尺度误差,并结合场景特点改进关键帧判别策略,避免了远处大目标导致关键帧稀疏的问题;最后提出新的运动假设构建位姿估计失败时的恢复策略,提高了系统在颠簸运动时的鲁棒性。在农业场景数据集上的评估结果表明,相比于当前先进的视觉定位与地图构建系统,提出的方法在困难序列上的轨迹误差降低幅度超过50%,其中3个序列上的尺度误差下降了一个数量级,取得了更高的精度和鲁棒性,能有效地应对农业场景下视觉定位与地图构建的挑战。

三维影像处理技术应用下的影视后期制作方法

为了增强影视作品的视觉效果,提升影视作品的整体品质,引入三维影像处理技术研究影视后期制作方法。文章首先基于计算得到的人眼视差结果,修正三维影像水平、垂直视差,其次确定摄像机间距,生成有效立体成像区域,最后利用三维影像处理技术,完成立体计算机动画(Computer Graphics,CG)渲染与立体优化,实现对三维立体画面的合成与制作优化。对比实验结果证明,设计的制作方法可以有效增强视频图像的视觉效果,提升影视后期制作作品品质。

正颌外科三维立体可视化模拟手术研究

目的 :建立基于CT图像数据的计算机辅助三维立体手术模拟系统 ,为了术前进行精确设计手术方案及达到术后良好效果提供真实可靠依据。方法 :应用医学可视化技术和VisualC+ + 编程语言开发出立体结构三维重建和手术模拟软件 ,建立以CT数据为信息源的计算机正颌外科立体可视化手术仿真模拟系统 ,可模拟各种正颌外科手术移动骨质过程 ,并且以动态动画形式演示 ,可从任意角度进行观察。结果 :该系统建立了颅颌面畸形立体结构模型 ,以动态形式成功演示了正颌外科截骨移动手术仿真模拟 ,手术过程真实逼真 ,立体可视化效果好 ,应用普通播放软件即可在计算机屏幕上播放模拟正颌外科手术过程 ,并可预测手术后上下颌咬合状态及手术效果。结论 :正颌外科三维立体可视化模拟手术系统的建立 ,为正颌外科截骨矫治牙颌面畸形术前手术方案制定提供实用有效的技术手段和全心的科学方法 ,改变仅凭主观经验诊断畸形和设计手术方案的传统模式 ,可在计算机屏幕前制定手术方案进行医患交流 ,共同协商 ,提高了正颌外科手术安全性。

基于2D-3D双目运动估计的立体视觉定位算法

运动估计算法是影响立体视觉定位精度的重要因素,传统的3D-3D运动估计算法受噪声影响很大,计算精度不高。本文提出了一种基于2D-3D双目运动估计的立体视觉定位算法。算法不使用运动后的特征点3D坐标,而直接利用其2D图像投影坐标。首先,利用EPnP运动估计算法确定匹配内点和初始运动参数。接着,利用双目相机之间的2D投影几何约束,提出了基于Levenberg-Marquardt算法的2×2D-3D运动参数优化算法,利用确定的匹配内点和初始运动参数,使特征点在立体相机左右图像上的再投影误差最小,从而达到最优的立体相机2D-3D运动估计。仿真实验和户外真实实验表明:本文算法获得了很高的计算精度、鲁棒性,大大优于传统的基于3D-3D运动估计的立体视觉定位算法。

空间立体仿真视景的技术研究及实现

军机飞行仿真系统的视景系统即需要有纵深感、立体感，又要有大视场，针对这一要求，在“苏二七飞机飞行仿真系统”中，提出并采用了空间立体视景系统，本文论述了该系统的设计思想、实施方案及关键问题的解决方法。

双目立体视觉传感器结构参数优化设计

采用最优回归设计311-A方案设计实验,研究双目立体视觉传感器的结构参数对传感器测量精度的影响.根据实验结果,建立了双目立体视觉传感器的测量精度与传感器结构参数间的回归方程,并通过对优化模型的求解,得到了使双目立体视觉传感器测量精度更高的参数组合.结果表明,利用上述方法可以有效地提高双目立体视觉传感器的测量精度.

基于视差空间的双目视觉里程计

提出了一种基于视差空间的双目视觉里程计算法.利用SIFT特征点的尺度和旋转不变性,实现左、右图像对特征点的准确匹配,及前后帧间的特征跟踪.在RANSAC框架下对匹配点进行运动估计获得运动参数初始值,然后迭代更新匹配点的视差比值直至收敛.为克服传统算法中3维空间噪声分布不均匀的缺陷,利用了视差空间噪声分布的各向同性的性质进行运动估计,并且通过迭代取得全局最小值.实验结果表明,该算法在运动估计中具有更好的精度.

结合光流跟踪和三焦点张量约束的双目视觉里程计

针对城市街道准确实时定位的问题,提出将光流跟踪与三焦点张量约束结合的双目视觉里程计方法。为提高运算效率,将图像序列分为关键帧与非关键帧,对关键帧进行常规的特征点检测与匹配,对非关键帧用Lucas-Kanade光流跟踪特征点对。推导了基于前后帧、左右视图三焦点张量约束的观测方程,顾及动力学方程,组成卡尔曼滤波模型。考虑到观测方程的非线性,采用迭代Sigma点卡尔曼滤波进行解算,解算过程中用RANSAC稳健估计策略提纯匹配,以增强系统整体稳健性。实验结果表明:提出的算法在基本不损失精度(X方向优于5 m,Y方向优于4 m)的情况下,计算速度提升6.2倍,单帧图像平均处理时间由0.3115 s下降为0.0503 s,能够满足城市定位实时准确的需求。