一种基于单双目融合的深度估计方法

深度信息在工业机器人、服务机器人、AR、VR等诸多领域具有十分重要的应用。目前市面上深度相机主要基于双目匹配方法。采用双目匹配方法的深度相机获取信息的效果取决于左右相机的特征差别,但在特征较少的场景如黑色、反光、重复纹理等情况下很难达到较好的效果。相对于双目深度估计方法,单目深度估计方法基于物体的纹理、梯度、材质等信息,提供了相对于双目完全不同的信息。针对当前广泛应用的双目结构光相机存在的点云缺失的问题,提出了一种基于单双目融合的方法,分别采用单目深度估计以及双目匹配方法对场景中的深度进行估计,然后对估计得到的信息进行融合获得最终的深度估计值。通过实验验证了所提出基于单双目融合的深度信息获取方法相对于单纯双目估计方法的有效性。由于所提出的方法完全依赖于当前主流深度相机的硬件需求,并且能满足实时计算的需求,有望能够在结构光3d相机中取得广泛的应用。

基于双目融合与竞争的无参考立体图像质量评价方法

根据人眼对立体图像的感知过程,提出了一种基于双目融合和竞争特性的无参考立体图像质量评价方法.首先将左右视点图像进行融合,对得到的独眼图进行Gabor特征提取;然后对左右视点图像的绝对差值图提取特征;最后将独眼图特征和绝对差值图特征融合得到立体图像特征集,通过支持向量回归预测得到客观值.采用该方法对LIVE立体图像数据库进行评价,Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)均在0.94左右,优于其他参与对比的质量评价方法.表明该方法符合人眼视觉特性,能够很好地描述人眼感知特性.

基于双目融合网络的立体图像质量评价

立体图像质量评价为3D技术的发展与应用提供了技术支撑.如何根据立体图像特点,构建更加符合立体视觉认知机制的立体图像质量评价模型,已成为该领域的关键问题之一.现有的立体图像质量评价方法要么先分别处理左右视图,然后结合左右视图质量得到立体图像质量分数;要么先对左右视图进行融合得到融合视图,然后评价平面的融合视图得到立体图像质量分数.事实上,大脑对立体视觉信号的处理是一个长期的复杂融合与处理的过程,并最终在视觉皮层完成对视觉信号的认知与判断.受大脑立体视觉认知机制的启发,本文提出一种基于双目融合网络的立体图像质量评价模型,实现了双目信息的多次融合与处理,模拟了大脑对双目信息进行处理和判决的视觉传导通路.所提出的双目融合网络包含左视图通道、右视图通道和融合通道,模拟立体视觉信息在视觉通路中的逐层并行处理过程;左右视图通道在网络中多次交互,模拟视觉通路中双目信息的多次融合与处理;网络末端的3个全连接层,模拟视觉信息经过视觉通路处理后复杂的质量判断过程.本文实验在两个公开立体图像库LIVE 3D PhaseⅠ和LIVE 3D PhaseⅡ上进行,实验结果表明,该方法在对称与非对称失真立体图像上均能取得更好的结果,且较其他方法具有更强的普适性.

基于双目信息融合的立体图像质量评价模型

根据人类视觉系统(Human Visual System,HVS)中双目视觉信息处理的过程,结合一系列图像特征,提出一种基于双目信息融合的立体图像质量评价模型。该模型通过复小波变换模拟HVS对立体图像的融合过程。提取结构活跃度(Structural Activity,SA)以及相位一致性(Phase Congruency,PC)作为图像特征。最后通过度量融合图像特征的改变程度获得立体图像客观质量。采用本文所提出的客观评价模型对立体图像数据库进行评价,其线性相关系数值在0.92以上,均方根误差值接近6,异常值比率值为0%。实验结果表明,该模型符合人眼视觉特性,能够很好地预测立体图像质量。

双目成像测控系统开发及其在实验室中的应用

基于视频和红外测温技术设计了一套适合实验室的在线设备安全监控系统,该系统包括视频和测温双目融合系统、可联动智能插座系统和手机APP等部分24小时监测设备的运行状态、测量设备的功率,以非接触方式监测对象的多点温度,并能对设定的过温和过载等危险状态进行断电操作。用户可以通过手机APP实时查看被监测对象的视频和关键点的温度,借助该设备,用户可以设置关键点位置的温度阈值和设备的功率阈值,如果超过阈值,用户手机APP就能收到报警信息,并在一定过温时间后,切断对象的供电电源。系统对设备的监控无需破坏原设备的结构,适合新设备研发阶段的监控并防止实验室火灾的发生,具有较好的通用性和市场化潜力。

基于双目视觉的增强现实模型系统设计

该模型的研究是为了改善目前单目增强现实设备存在着视场小、成像不逼真、单目观察、适应人群窄等问题。模型系统选用高分辨率、宽色域、高集成度2 mm×17 mm OLED微显示器作为成像像源,大尺寸BS棱镜和凹面镜作为成像元件,合理控制图像放大倍率,提高视场;该系统可以实现高清晰稳定的单目及双目增强现实成像效果,具有多维的可调节度,包括调节放大倍数在1～∞内精确微调、眼距和双目图像合成角度等。

基于双目视觉的固定翼无人机自主着陆技术研究

针对固定翼无人机自主着陆需求,结合旋翼机自主着陆方法优势,提出一种基于双目视觉的固定翼无人机自主着陆方法。分析无人机着陆过程,设计地标形状及其摆放方式;基于轮廓几何特征及SVM分类器完成目标识别。为保证算法实时性,对目标图像进行网格采样,以基于前后双向跟踪误差与相邻帧局部区域图像相似性约束改进的金字塔L-K光流法为核心对采样点进行跟踪;设计目标再搜索算法,进行跟踪失败再搜索,保证跟踪稳定性。最后,提取亚像素级特征角点,基于透视投影理论完成相对位姿解算,并进行双目均值融合。实验结果表明:算法实时性、稳定性较好,有较高估计精度,可满足固定翼无人机自主着陆需求。

基于单双目视觉融合的车辆检测和跟踪算法

提出了一种基于单双目视觉融合的车辆检测与基于Kalman滤波的车辆跟踪算法,设计了一种基于二维深度置信网络的车辆检测器。在道路图像中利用单目视觉生成车辆可能存在的区域,构成双目视觉处理的车辆候选集合。在车辆可能存在的区域内利用双目视觉进行误检去除,并获得车辆的位置信息。在二维图像坐标系和三维世界坐标系内,利用Kalman滤波器对检测到的车辆进行跟踪。试验结果表明:算法的检测率为99.0%,误检率为1.3×10-4%,检测时间为57ms,检测率高,误检率低,检测时间短;与单双目视觉弱融合算法、单目视觉算法和双目视觉算法相比,本文车辆检测与跟踪算法兼具双目视觉算法检测率高和单目视觉算法检测时间短的优点。

立体显示下的双目颜色融合研究现状与展望

立体显示是未来显示技术发展的重要方向,而左右眼视图颜色不一致是立体显示中常见的现象,会导致人眼观看时视觉不舒适。在立体显示条件下,不一致颜色的双目融合研究是传统颜色视觉研究的扩展和补充,不仅对了解人眼视觉系统视信息处理过程及机理有一定的科学意义,而且对解决现有立体显示技术视觉不舒适难题也有应用价值。本文对人眼双目颜色融合的相关研究文献进行了整理,从双目颜色融合、颜色融合与立体融合的交互作用及双目颜色融合对立体显示视觉舒适度的影响三个方面展开分析,总结了双目颜色融合的研究现状,指出目前对视觉系统的双目颜色融合与立体融合的交互机制仍然不完全清楚,研究结果多停留在现象描述上,缺乏定量的实验数据来建立双目颜色融合模型。并提出双目颜色不一致会影响立体显示视觉舒适度,而基于立体显示技术的图像增强方法将成为未来的研究热点。

汽车抬头显示动态畸变的主观实验评估

本文建立了一种基于双目3D显示观察的主观实验流程,利用主观实验数据来分析汽车车载增强现实抬头显示(AR-HUD)设备中的动态畸变对驾驶员主观感受的影响,同时评估观看来自不同眼盒位置的图像时双目融合过程中驾驶员可以接受的畸变大小临界值。实验研究结果显示,随着两眼之间的动态畸变差异的增大,驾驶员融合图像变得越来越困难,观看的不适程度也出现较快增长。同时本文也揭示了驾驶员在使用AR-HUD设备的过程中,同一眼盒两个不同位置处驾驶员可以接受的动态畸变临界条件为垂直畸变小于2%,水平畸变小于1%。此研究证实了动态畸变对驾驶员的主观感受具有较为显著的影响,并且为汽车抬头显示系统中光学设计的优化畸变过程提供了相关的数值约束参考。

基于仿视觉细胞模型的立体图像质量评价方法

在观看立体图像时,人类视觉系统(HVS)以人眼视网膜细胞为媒介接收、传输和理解双目信息,基于此提出了一种仿视觉细胞模型的立体图像质量评价(SIQA)方法。以视网膜细胞特性为基础,模仿HVS对简单细胞和复杂细胞进行建模;双目信息经简单-复杂细胞模型处理得到双目融合视点图(BFVM)和双目细胞差异图(BCDM),采用多尺度结构相似度(MSSIM)算法分别对原始、失真立体图像的BFVM和BCDM进行双目融合评价(BFQA)和双目立体感评价(BSPA);对BFQA和BSPA的评价值进行加权融合得到最终评价值。实验结果表明,该方法的Pearson线性相关系数在0.94以上,Spearman秩相关系数在0.93以上,该模型符合人眼视觉特性,能够较好地预测立体图像质量。