用于混合现实的三维场景生成技术

在混合现实系统中,三维场景作为虚拟空间的关键构成要素,其高效生成方法一直是本领域的研究热点。人工智能辅助内容生成技术的发展,为该问题的解决提供了新的思路。综述性的归纳与总结了近年来三维场景生成的各项技术方法,以及混合现实场景下三维场景生成的现状,并对其发展趋势进行了分析与展望。

神经反馈训练中的虚拟现实技术综述

随着虚拟现实技术及脑-机接口技术的快速发展,虚拟现实在认知训练及神经康复等领域得到了广泛的应用,逐渐成为相关领域研究的热点.与传统的认知训练方法相比,应用于神经反馈训练中的虚拟现实技术通过将用户真实的训练环境替换为可定制的沉浸式虚拟环境,在显著降低系统使用成本的同时有效地提升了训练绩效.从虚拟现实技术在神经反馈训练领域的优势和应用出发,分析了神经反馈训练机制,讨论了虚拟现实技术的反馈训练方法;结合神经反馈训练中的虚拟现实技术研究现状,提出诱发更明显的脑电特征、设计个性化训练方案、提高反馈信息的传输速率、提高训练过程的舒适度以及融合多模态脑影像技术是未来的发展方向.

用于增强现实手术导航系统的光学-惯性混合跟踪方法

针对手术导航系统中光学跟踪容易受到遮挡影响的问题,提出一种将光学和惯性跟踪信息进行融合的方法.该方法利用有较高精度的光学跟踪系统对惯性传感器的偏置误差进行估算,使用FIR滤波器对惯性传感器测量噪声进行滤波,该方法通过Kalman滤波器完成数据融合得到目标姿态.当出现部分光学遮挡时,混合跟踪系统将未被遮挡的标志点位置信息与目标的姿态信息进行融合得到完整的6自由度位姿信息.实验结果表明,通过融合光学和惯性跟踪信息,能够在部分遮挡条件下得到准确的位置和姿态信息,并将虚实融合手术导航图像准确地反馈给用户.

用于增强现实的光照估计研究综述

增强现实技术将计算机生成的虚拟物体实时叠加到用户周围的真实场景中,虚拟物体与真实环境拥有一致的光照效果是该技术的难点之一.光照一致性研究包括光照估计、材质表面反射属性估计以及真实感渲染等内容,其中光照估计是光照一致性的先决条件,结合材质表面反射属性可以保证虚实物体一致的光照渲染效果.文中概述了增强现实中光照一致性研究的最新进展,通过分析现有技术的优缺点阐述了当前光照估计研究所面临的主要挑战,同时展望了该领域未来的发展方向.

立体图像及显示舒适度评价方法研究进展

视差立体显示因其能再现三维空间信息而在虚拟现实系统中得到广泛应用,然而观看视差立体显示与观看真实场景的视觉机制是不一致的,将引起晶状体调节与双眼辐辏的冲突,进而引发视觉不适.针对这一问题,首先描述了调节辐辏功能的视觉机制;然后分析了立体显示中调节辐辏冲突所引起的视觉异常现象及其测量方法;总结了立体图像舒适度预测算法的最新研究进展,并按照眼部、脑活动、自主神经系统3类测量方法对视疲劳客观评估的潜在指标进行了分类;最后讨论了本领域的未来研究方向和挑战,以及相关研究在虚拟现实头盔立体显示中的潜在应用.

触觉再现技术研究进展

针对触觉再现技术面临的数据获取难、设备真实感低、应用数量少等问题,在触觉感知机理和触觉再现范式基础上,分析了现有触觉信号采集、建模、渲染等关键环节的方法和特点,归纳了典型触觉再现设备的种类和实现原理,讨论了触觉再现技术的主要应用领域.根据触觉再现技术的研究现状,提出了构建触觉感知模型、提高触觉数据特征提取与模型处理精度、开发低功耗低成本的普适性触觉系统与多通道融合的交互应用的未来发展方向.

实时全息三维显示技术研究进展

全息三维显示技术能有效地重建三维物体的波前,并为人眼提供完整的深度线索,已经成为三维显示领域的研究热点。相比于光学全息,计算全息通过计算机模拟全息图的记录过程,并采用可刷新的空间光调制器替代传统的光学记录材料作为全息图的承载媒介,因而成为理想的实现实时全息三维显示的技术方案。然而,复杂三维场景数据量巨大、空间光调制器调制能力不足以及全息三维显示系统展示度不高等问题仍阻碍了实时全息三维显示的发展。为了克服这些不足,研究者们在算法和硬件两方面做出了许多创新工作。本文综述了实时全息三维显示的进展。首先概述了全息术的基本原理和发展简史,接着详细介绍了全息图快速计算方法和针对现有空间光调制器的波前编码方法,然后讨论了深度学习对实时全息三维显示做出的贡献并介绍了一些典型的全息显示系统,最后对实时全息三维显示的未来发展进行了展望。

移动增强现实浏览器的信息可视化和交互式设计

为探究解决增强现实浏览器人因问题的方法,通过对移动增强现实环境中的人因问题进行分析,提出一个新型设计流程,并在实际设计中论证其有效性.首先对移动增强现实浏览器进行用户需求分析,并将需求转化为任务;然后将抽象信息可视化为数据视图,并采用概览与细节方法对构成视图的视觉元素进行布局;再使用渐进式交互法组织离散数据视图,生成交互界面;最终通过对浏览器原型的迭代设计解决评测过程中发现的人为设计错误.可用性测试结果表明,采用该方法设计的增强现实交互系统增进了用户对目标的认知,改善了用户体验.

基于自然场景在线学习的跟踪注册技术

三维注册是移动增强现实的关键技术之一,提出了一种在线学习的跟踪注册方法,能够精确地对自然场景进行跟踪注册.该方法首先改进SURF(speeded up robust features)描述符匹配方法,提高初始注册矩阵的正确性;然后,通过对场景进行有效的在线学习,提高注册精度;最后,利用前一帧的注册矩阵快速恢复已丢失的关键点,以提高注册的速度.实验结果表明,该方法能够较为流畅地对视频帧进行跟踪,并能保持较好的注册精度.

一种增强现实分场景推送情景感知服务的方法

针对目前增强现实浏览器中由于标签使用不当阻碍用户认知操作的问题,提出了一种分场景推送情景感知服务的方法.该方法根据用户寻找兴趣点并检索内容的认知流程划分场景,采用情景感知四层服务框架分别创建了3个场景的功能模块,通过关联3个场景模块,构建了完整的移动增强现实浏览器系统.实验结果表明,与同类浏览器相比,基于上述方法设计的增强现实浏览器系统在分类准确度上平均提高了13%,用户对系统预测效果的平均满意度提高了26%.

增强现实游戏交互模式对比

为了研究增强现实技术对常见交互模式用户体验的影响以及该技术适合应用的游戏场景,对比了增强现实游戏和传统手机游戏中2种交互模式的差异.采用复杂程度不同的交互模式进行全面分析,简单模式采用"按钮交互"过程,复杂模式采用"收集"过程.通过可用性测试、问卷调查以及自由访谈等方式收集用户反馈;最后通过分析数据得出2种交互方式的差异,并对2种交互模式适合的应用场景给出建议.

用于户外异型表面投影的新媒体控制系统研究

随着新媒体技术的日益普及,在户外环境下搭建集成投影、LED屏幕、射灯、音乐喷泉、多通道音响等技术的综合舞台演出越来越为常见,由于设备种类繁多,交互方式多样,在集成应用时往往出现音唇不同步、系统之间延时较大等问题。为解决多种新媒体技术在户外集成应用时出现的同步控制技术难题,提出了一种针对户外异型表面投影的新媒体控制系统解决方案并介绍了该系统的组成及工作原理。通过添加数据包缓冲区,自动识别缓冲区大小根据需要调整播放速率或者跳帧、重复帧等操作实现媒体内的同步控制。通过添加反馈机制改进时间戳同步控制方法,利用反馈数据改变时域缓冲大小,自适应调节播放延时,从而实现多种新媒体技术间同步控制的目的。

折反射周视系统研究进展与展望

折反射周视系统作为近十几年发展起来的一种新型周视视觉实现形式,相比相机旋转扫描、多相机图像拼接和鱼眼镜头大视场成像等常规方法,在小型化、结构灵活性、成本和实时性方面具有优势。本文综述了折反射周视系统的成像模型、系统标定、畸变校正和全视场清晰成像等基本问题研究状况,讨论了折反射周视系统在红外成像和立体视觉领域的扩展应用研究现状,最后总结了目前存在的问题,并提出未来折反射周视成像系统将围绕非单视点成像模型、提高空间分辨力的方法和处理算法实时实现开展研究。

新颖材料器件为全息显示带来的新机遇

三维显示是人类获取身临其境视觉信息的有效途径,其中全息技术能够提供人眼所需的全部深度信息,被认为是理想的三维显示方式.然而受目前显示器件的限制,如可刷新调制器件的时间-空间(时空)带宽积受限、海量数据云处理速率限制、图像质量不高的问题等,全息显示技术的发展进入了瓶颈期.为了提高显示质量、扩大时空带宽积、提升系统性能,需要发展崭新的全息显示器件,从根本上解决目前遇到的问题.超颖材料、超构表面以及二维材料等诸多新颖材料的涌现为全息显示带来新的机遇.超颖材料(表面)通过特殊设计,利用远小于波长的超构单元实现对波前各向同性或各向异性的振幅与相位的特异调控,进而将全息信息映射到超颖材料(表面)全息显示器件上,通过调控光波实现各种显示.发展可刷新的超构(表面、二维)材料并应用于动态全息显示中是未来的重要方向.虽然现有的新颖器件还面临着各种问题,但它们可为全息显示的发展提供潜在的可行性和新的视角与发展动力.

银纳米线柔性可见光透明电极的制备与研究(特邀)

为了解决银纳米线受限于高温焊接工艺和物理焊接效率在柔性透明材料应用上存在瓶颈的问题,结合飞秒激光纳米焊接工艺制备了银纳米线/PMMA/PDMS柔性在可见波段透明的电极,通过对不同激光波长与不同银纳米线交叉角度间的相互作用进行数值模拟,摸索了激光焊接辐照强度以及银纳米线沉积密度的最佳工艺参数。研究结果表明,辐照银纳米线网络的激光波长选取为600 nm,激光功率选取为160 mW,辐照时间为25 s,银纳米线的沉积密度为167.85 mg/cm^(2)时,获得最高的品质因数,对应的薄膜方块电阻值为12.72Ω/sq,在波长550 nm处的透射率为82.41%,表现出优异的光电性能;在220次弯折循环和70次粘贴测试中,所制备柔性透明电极的方块电阻保持稳定,表现出良好的机械稳定性。

虚拟现实光学显示技术

随着信息技术的快速发展,对高性能虚拟现实技术及虚拟现实系统的需求与日俱增,而虚拟现实设备营造高沉浸感的关键之一在于良好的显示效果.本文介绍了当今虚拟现实领域所涉及的主要显示技术,对每种技术的原理和特点进行了分析、比较和总结.特别地,对当前虚拟现实的最主流显示方式,即头盔显示器,进行了详细的分析,并通过头盔显示技术的演变阐述当前显示技术所致力解决的问题与期望达到的目标.最后对虚拟现实中显示技术的未来发展趋势进行了展望.

基于方域正交多项式自由曲面的成像系统设计方法(特邀)

自由曲面为光学系统设计带来了新的设计自由度,可以实现性能与参数更高、结构更紧凑的系统,但自由曲面的加工与检测难度较大,应在设计过程中对工艺性进行实时表征与控制。使用正交多项式面型可以较为容易地实现自由曲面同基底曲面矢高差的控制,但目前常用的大多是在圆域内正交的多项式,对于自由曲面离轴非对称系统中曲面常用的矩形孔径或者方形孔径局限性较大。针对以上问题,提出了采用方域内具有正交特性的二维Chebyshev多项式以及二维Legendre多项式进行自由曲面成像系统设计的方法。提出采用正交多项式孔径边缘积分的约束方法,以及采用控制方域正交多项式系数平方和的方法,配合正交多项式系数的其他线性约束,在不明显降低系统成像质量的情况下,实现高效的自由曲面系统设计以及曲面检测难度的实时表征与控制。通过多个不同结构的自由曲面成像系统设计实例,说明了所提出的设计方法的可行性与效果。所提出的方法为常用的有矩形曲面孔径的自由曲面系统设计提供了新思路,可以有效提升整个自由曲面系统研制过程的效率。

融合时空约束的光学动作捕捉标记点实时补全方法

在基于标记点的光学动作捕捉系统中,针对粘贴在用户身上的标记点受遮挡等因素影响丢失跟踪位置后导致人体位姿计算失败的问题,提出一种基于深度学习的标记点序列预测补全方法.该方法中,深度学习网络模型以人体运动的时间反演对称性作为理论依据,使用双向长短期记忆网络作为网络主体架构;在模型训练过程中提出组合损失函数,分别对人体关键运动节点的活动范围、同一段骨骼上标记点之间的刚性结构,以及标记点运动轨迹的时间连续性进行限制,确保补全的标记点序列符合人体运动的时空约束.在HDM05数据集上的实验结果表明,与现有方法相比,在丢失不同数量、不同时间跨度的标记点序列的条件下,所提方法补全标记点位置的平均误差下降超过14%.

多维度超表面光场调控和全息显示技术

超表面器件的亚波长单元结构能够与光产生强烈的相互作用。通过对超原子的优化设计,能够对光场的各个参量进行多维度调控,为包括全息显示在内的众多应用光学领域带来全新的解决思路与方案。针对全息显示中核心光电调制器件能力有限的问题,发挥超表面器件超强的光场控制能力,利用多维度的复用调控,实现对信息通道数量的扩展,提升显示质量与效果。随着对超表面光场调控机制与复用技术的深入研究,超表面自身与相关应用领域都得到了长足发展。本文围绕超表面进行论述,着重介绍本课题组在多维度超表面的光场调控及全息显示中的研究进展。

基于深度学习的视频人体动作识别综述

随着网络多媒体技术的快速发展和视频采集设备的不断完善,越来越多的视频被共享到网络平台,视频逐渐占据了人类生活,因此视频理解已成为计算机视觉研究的热点之一。作为视频理解的首要任务,对动作识别的研究具有重要的意义。目前基于深度学习的二维图像识别分类方法已经取得了较大的进展,但是视频动作识别仍面临着巨大挑战。其原因在于视频和二维图像相差一个时间维度,对视频中行走、跑步、跳高和跳远等动作的理解不仅需要二维图像所具有的空间语义信息,还需要时序信息。因此,如何利用视频的时序信息对动作识别非常重要。首先介绍了动作识别的研究背景以及发展过程,分析了当前视频动作识别所面临的挑战,然后详细介绍了时序建模及参数优化的方法,分析了常用的动作识别数据集和度量参数,最后对未来的研究方向进行了展望。