微光环境下基于MR的装设备智能提示辅助技术研究

针对微光低照度难以感知物体精确位置信息这一问题,基于MR的智能提示辅助技术,以典型吊装作业为研究对象,分析了吊装作业在吊机转位、吊姿调整、点位对准3个典型阶段的信息感知与操作特点,基于混合现实环境下深度线索、听觉线索等人机交互理论,设计了针对3个典型阶段的混合现实信息辅助方案,进行了人机工效实验,结果表明:精细调整部件位姿阶段,迅速吊装场景和高精度吊装场景最佳使用方案不同;精确对准点位阶段,时间压力不大的情况下,使用闪烁光标和颜色变化的辅助直线是最合适的提示方案。对于经典吊装任务全过程,当吊装精度要求较高但时间压力不大时,最佳的智能提示辅助方案为精细调整部件位姿阶段添加移动式轮廓、辅助直线颜色变化,提高深度感知。

基于分段化结构重建的2D/3D视频转换方法

为了缓解3D片源的不足,设计了一种分段化结构重建方法为视频2D/3D转换提供深度线索.采用分层提取的方式,将视频基于内容分解为子序列,在每个子序列中建立优化准则选择出处于非退化状态的关键帧,并以此为基础提出了分段化结构重建框架,利用改进的耦合自标定算法重构出每个子序列对应的离散3D结构信息,从而获取视频的深度线索.实验结果表明,该方法通过分段化后的局部优化,不仅使结构化重建能够有效处理多场景下的连续镜头,还加快了转换的效率,能够稳定、高效地获取深度信息,适用于视频2D/3D转换.

虚拟现实中的视觉系统与其实现技术

视觉系统是实现虚拟现实的关键部分。本文探讨了虚拟环境中视觉系统的设计思想。

基于多尺度纹理能量测度的单幅图像深度估计

为了更好地描述纹理渐变线索与场景深度间的关系,提出了一种基于多尺度纹理能量测度的深度估计算法。采用具有旋转不变性的纹理能量测度方法捕捉多个尺度下场景图像的纹理能量,再分析各尺度下纹理能量的变化规律,得到用于估计纹理区域相对深度的算法。实验结果表明,该算法对近似同分布的非结构化纹理区域的深度估计具有较好效果。

频域体绘制中的颜色合成

和传统体绘制算法相比，频域体绘制算法具有较低的算法复杂度，能够更快地完成对三维数据场的显示．然而这种方法却不能简捷有效地表示和处理数据场的深度信息，因此其生成的图象缺少深度的遮挡效果．有鉴于此，Ｌｅｖｏｙ等曾通过诸如线性深度补偿的技术来弥补这一缺憾．尽管如此，运用这种技术得到的结果和传统空域方法仍有明显的差别．本文首先着眼于对空域体绘制方法中广泛采用的离散颜色合成技术的分析，然后引出了透明度密度分布函数的概念，进而推导出连续形式颜色合成过程的解析描述．根据这个结果，只要对三维数据场的透明度分布加以适当限制，就能够通过频域体绘制方法来实现颜色合成，增加绘制的深度效果．作者最后指出，基本频域体绘制方法和Ｌｅｖｏｙ的线性深度补偿方法的实质可以看成是这种颜色合成过程的近似．文中对透明度均匀分布的情况做了详细讨论，并且给出了具体算法，同时用生成的图象实例相应地进行了比较．

基于光场成像的多线索融合深度估计方法

在计算机视觉领域,传统的深度估计方法通常基于单个或多个摄像机拍摄的二维图像实现,忽略了光线的方向信息,获取的深度图精确性较差.以Raytrix、Lytro光场相机为代表的新型计算成像设备,能够在一次曝光中同时获取光辐射的空间分布及方向信息,为基于图像的深度估计提供了更多几何依据和线索.近年来,结合微透镜光场相机成像模型的多深度线索融合思想,成为探求深度估计问题的新导向.与基于单一深度线索的深度估计方法相比,当前的多线索融合方法取得了更准确的深度估计效果,然而,尚不能保持对噪声和遮挡的鲁棒性.为此,本文基于光场成像几何提出了一种考虑遮挡并对噪声鲁棒的多线索融合深度估计方法.首先,在借鉴人类视觉多线索优势差异的研究成果基础上,选择对噪声不敏感的聚焦线索和准确度较高的对应线索作为深度估计的依据;接着,针对微透镜光场相机成像模型,剖析聚焦、对应两种深度线索的几何特性,阐明了焦点堆栈轮廓曲线的局部对称性以及EPI图像上直线斜率与深度的比例关系,进一步分析并证明了存在遮挡的情况下,分别由焦点堆栈和中心子孔径图像生成的两类轮廓曲线之间仍存在一致性;随后,基于这些几何特性,构建了考虑遮挡和噪声影响的度量标准;然后,建模深度估计为多标签优化问题,将度量标准构造成最小化能量函数,以图割法求解得最优深度估计.在实验环节,本文首先对模型参数做Ablation分析:单独考虑对称性、一致性、对应线索的其中之一,或组合考虑两种或全部分别进行实验,结果表明综合考虑多种性质时本文方法效果最好.另外,分别在合成光场数据集和真实场景光场数据集上测试本文及相关文献的深度估计方法,实验结果表明本文深度估计方法准确度较高,对遮挡边缘的细节处理有效,且能够保持对噪声的鲁棒性.

虚拟现实中关于视觉深度感知的讨论

人们用眼睛判断物体的相对和绝对距离的过程是极为复杂和难于理解的。它不仅是用双眼进行三角测量的过程 ,还有其它许多因素不同程度地产生影响 ,比如线性透视、细节与空中透视、干涉等等。在虚拟现实领域工作的研究设计人员尤其要意识到这些因素。

单眼深度知觉对调节反应的影响

背景平面画面中有多种视觉线索构成深度或距离感知信息，但目前尚不清楚究竟是哪些深度线索对人眼的调节起主要作用，以及注视距离的不同是否使这种影响存在差异。目的研究不同距离的单眼空间深度感知对人眼调节反应的影响，分析线性透视和大小知觉恒常性深度线索对调节反应水平及波动幅度所起的作用。方法运用FLASH软件设计4组视标，视标1为静止环形图案；视标2包含大小知觉恒常性深度线索，动态表现从远至近或从近至远的环形图案；视标3包含线性透视和大小知觉恒常性2种深度线索，动态表现从远至近及从近至远的连续变化的车行轨迹；视标4去除线性透视深度线索，仅表现视标3中车的大小的动态变化。纳入26名22～26岁的受试者，球镜度数平均为（一4．06±1．99）D，柱镜度数平均为（-0．38±0．41）D，在矫正视力下单眼分别注视50cm和33．3cm的视标，采用Grand Seiko WAM-5500近红外开放视野自动验光仪，以5次／s的调节反应记录方式，全程记录受试者在注视变化过程中的调节反应及调节微波动。结果在50cm的注视距离下，由大小知觉恒常性和线性透视共同作用时（注视视标3），由近处的距离感知引起的调节反应值为（1．52±0．46）D，远处为（1．37±0．46）D，两者间差异有统计学意义（P=0．016）；由大小知觉恒常性独立作用时（注视视标4），大车的调节反应值为（1．43±O．35）D，小车为（1．43±O．36）D，差异无统计学意义（P=0．467）。在33．3cm的注视距离下，由大小知觉恒常性和线性透视共同作用时（注视视表3），由近处的距离感知引起的调节反应均值为（2．40±0．53）D，远处为（2．35±0．51）D，差异无统计学意义（P=0．379）；由大小知觉恒常性独立作用时（注视视标4），大车的调节反应均值为（2．38±0．48）D，小车为（2．39±0．52）D，差异无统计学意义（P=0．820）。只有线性透视深度线索（注视视标3）参与的由远近距离的心理感知所引起的总调节微波动曲线呈现明显的周期性波动。结论单眼的空间深度知觉在一定距离可以影响调节反应。构成空间知觉的深度线索中，线性透视提供了高层次的深度知觉，对调节反应水平及波动幅度起主要作用，而大小知觉恒常性依赖于线性透视等其他深度线索的辅助，其本身对调节反应水平及波动幅度的作用微小，甚至起反向作用。

计算机立体视图绘制技术

随着计算机技术的发展,特别是三维计算机立体图形绘制、显示技术的发展,使逼真地、立体地重现自然成为可能。现在立体显示技术已广泛应用于医学图象、应用科学、可视化工程、虚拟现实和模拟训练教育等方面。确定正确的立体图象投影模型是利用计算机产生逼真图象的关键技术之一,本文介绍了计算机立体显示基本原理及立体观察的几何模型并概述了影响计算机立体图象绘制和显示的几个重要因素。

多线索非参数化融合的单目视频深度估计

为解决二维视频的三维转化问题,提出了一种基于非参数化学习和多线索融合的单目视频深度图提取方法.首先,利用单目图像的区域边界轮廓和几何透视结构线索,基于前景背景融合来估计单目视频中各帧的深度图像;然后,利用视频帧间空时相关性,借助非参数学习实现单目视频深度估计;最后,利用全局背景深度分段约束和去抖动来增强深度视频序列.实验结果表明,与其他现有方法相比,该方法能得到更为准确的单目视频深度图序列,无论在主观质量还是均方根误差(RMS)和结构相似性度量(SSIM)上,均能取得较好的效果.

自动2D-to-3D视频转换技术研究

目前3D视频内容不足是制约3D技术发展的重要因素之一,自动2D-to-3D视频系统可以快速且低成本地将二维图像转换成双目立体图像,具有很好的发展前景。自动2D-to-3D视频系统分为图像分割、深度信息提取、深度的融合与分配、立体图像生成等多个部分,本文对自动2D-to-3D系统的各个组成部分的原理与主要算法进行了介绍与分析,最后,还介绍了自动2D-to-3D系统生成的图像客观评价的发展情况。

基于视觉心理学的物体大小恒常性计算

知觉恒常性是人类感知世界最重要、最突出的方面,它为解决计算机图像理解和物体识别等经典计算机视觉难题提供了新的思路.大小恒常性是最重要的知觉恒常性之一.正确的图像物体大小恒常性感知的关键在于准确计算物体在图像中的感知深度.本文总结了人眼使用的各种图像深度线索,提出了这些线索融合与冲突的解决方案,然后用数学方法建立了图像物体大小恒常性计算模型.实验结果表明该模型是有效的.本文是应用视觉心理学来解决计算机视觉问题的一次成功而有益的探索.

基于运动和散焦线索的深度提取研究

随着立体图像在社会各个领域的发展与普及,三维资源的需求逐步提升,而将二维图像转换为三维图像是解决三维资源稀缺的重要手段。二维图像三维化技术的关键在于深度信息的获取。分析了两种重要的深度提取线索,运动线索和散焦模糊线索。为了弥补这两个线索在深度提取的局限性,提出了两种线索的深度融合策略。实验结果表明,这两种线索采用分段线性融合的方法能提高生成深度图的质量。

深度信息辅助的均值漂移目标跟踪算法

参考目标模型中混入的背景噪声会弱化目标特征的描述,导致目标跟踪定位误差。为减少误差,依据目标与背景处于不同深度平面的特点,提出了基于深度信息辅助的和改进的背景加权直方图的Mean Shift跟踪算法,能够有效削弱核窗口中的背景干扰信息,突出目标的颜色特征信息,并适时自适应更新核带宽,减少因目标尺寸变小时引入较多的背景干扰信息。实验结果表明该算法迭代次数更少,具有良好的跟踪定精度。

基于光场分析的多线索融合深度估计方法

受人类视觉深度感知机理的启发,结合最近光场分析理论的进展,文中提出了一种融合多种深度线索的全局一致深度估计方法.该方法首先利用摄像机阵列获取光场数据,然后通过合成孔径成像方法获得指定深度的重投影光场,并从中提取表征深度变化不同维度的模糊与视差线索.接着文中采用光场分析方法对比了模糊与视差线索的适用情况,设计了多深度线索的融合算法,以实现不同深度线索的优势互补.进而为了获得精确一致的深度结果,文中在马尔可夫随机场模型的基础上,提出了一种自适应平滑约束的全局能量函数.最终,文中利用图割算法最小化全局能量函数,获得了平滑的高精度深度估计结果.文中分别在虚拟数据和真实数据上测试了所提出的方法,与单一深度线索和局部深度估计方法相比,文中方法能结合不同深度线索的优势并获得更加鲁棒的深度结果.

基于光场内联遮挡处理的噪声场景深度获取

光场相机通过单次曝光同时从多个视角采样单个场景,在深度估计领域具有独特优势。噪声场景下的深度获取是光场图像深度估计的难点之一。传统针对噪声场景的深度获取方法大多仅适用于非遮挡情况,无法较好处理包含遮挡区域的噪声场景。针对含遮挡的噪声场景深度估计问题,提出了基于内联遮挡处理的深度估计方法。该方法采用内联遮挡处理框架,通过将遮挡处理集成进抗噪成本量中,在保证抗噪性能的同时提升算法的抗遮挡能力。在成本量建立完成后,为进一步滤除剩余噪声,采用提出的适应遮挡的多模板滤波策略对成本量进行遮挡感知优化,该策略通过为不同方向的遮挡分别设计滤波模板,在滤波的同时能较好保留图像的边缘结构,有效改善了传统滤波算法无法保留遮挡边界的问题。实验结果表明,相比其它先进深度估计算法,该方法在高噪场景下具有显著优势,并能更好处理噪声场景深度估计的遮挡问题。

结合光场多线索和大气散射模型的去雾算法

雾天拍摄的图像通常会存在对比度低、图像质量差的问题,而这些退化图像会对计算机视觉的应用产生显著的负面影响。针对这些问题,本文首次提出一种将光场与大气散射模型相结合的图像去雾方法。首先利用光场相机捕获多视角信息的优势提取散焦线索和匹配线索估计雾天图像的深度信息,并利用获取的深度信息计算场景初始透射率。然后利用场景深度信息构建新的权重函数,并将其与1-范数上下文规则化相结合对初始透射率图迭代优化。最后利用大气散射模型对光场中心视角图像进行去雾以获得最终的无雾图像。在合成雾天图像和真实雾天图像上的实验结果表明,与现有的单幅图像去雾算法相比,峰值信噪比(PSNR)提高约2d B,结构相似性(SSIM)提高约0.04,本文方法更好地保留了图像的结构信息,同时去雾后的图像较好地保持了图像的色彩信息,能获得更优的图像去雾效果。

基于双眼视差探讨深度知觉信息对背景线索效应的影响

背景线索效应是由重复场景导致搜索效率提高的现象。以往研究发现三维场景下能获得背景线索效应,但对三维场景下深度知觉线索信息如何影响空间场景提供有效线索引导注意仍缺乏实证研究。本研究以矩阵刺激为材料,通过设置不同的刺激项目水平数探讨深度知觉线索对背景线索效应的影响模式。结果发现:(1)在场景布局由较少项目构成时,深度知觉线索提供目标与刺激项目的有效联结,获得背景线索效应;(2)当刺激项目水平达到一定程度时,深度知觉线索增加了背景线索任务的搜索难度,干扰了重复场景中的背景信息对注意的指导性加工,背景线索效应消失。研究结果为三维场景下深度信息对空间场景中注意引导加工的影响提供了证据。

面向听视觉信息的多模态人格识别研究进展

人格识别分析是人格计算研究中一个重要的研究内容,在人类行为分析、人工智能、人机交互、个性化推荐等方面具有重要的应用价值,是近年来心理学、认知学、计算机科学等领域中的一个多学科交叉的热点研究课题。本文介绍了与人格识别相关的各种人格类型表示理论和人格识别数据库,阐述了面向听视觉信息的各种听视觉人格特征提取技术,如手工特征和深度特征,并在此基础上对面向听视觉信息人格识别的多模态融合方法做了详细的分类和归纳,最后概括了面向听视觉信息的多模态人格识别发展趋势,并进行了展望。

融合多视角信息的RGB-D图像协同显著性检测

图像协同显著性检测旨在检测一组内容相关的图像中的共同的显著目标。尽管在视觉特征学习以及检测算法等方面已有大量研究工作,但是大多数协同显著性研究集中于RGB图像,并没有充分利用图像深度等显著信息。考虑到上述不足以及采用单一图模型可能在检测过程中丢失重要信息,提出了一种基于多视角信息融合的RGB-D图像协同显著性检测算法。该方法首先针对单幅图像采用深度学习网络获得高质量的显著图,接着采用基于多图的流行排序算法融合图像的多种特征初步检测到协同显著区域,然后进一步利用深度信息进行显著增强,最后采用秩约束算法进行显著信息融合。在标准数据集上的实验结果证明了该方法的优异性能。