融合时空约束的光学动作捕捉标记点实时补全方法

在基于标记点的光学动作捕捉系统中,针对粘贴在用户身上的标记点受遮挡等因素影响丢失跟踪位置后导致人体位姿计算失败的问题,提出一种基于深度学习的标记点序列预测补全方法.该方法中,深度学习网络模型以人体运动的时间反演对称性作为理论依据,使用双向长短期记忆网络作为网络主体架构;在模型训练过程中提出组合损失函数,分别对人体关键运动节点的活动范围、同一段骨骼上标记点之间的刚性结构,以及标记点运动轨迹的时间连续性进行限制,确保补全的标记点序列符合人体运动的时空约束.在HDM05数据集上的实验结果表明,与现有方法相比,在丢失不同数量、不同时间跨度的标记点序列的条件下,所提方法补全标记点位置的平均误差下降超过14%.

一种基于简易标记点编码的光学跟踪系统

在虚拟现实,增强现实或是混合现实应用中,实时获取用户和交互对象的位姿是构建高沉浸感虚拟环境的前提条件。随着虚拟现实技术的不断发展,用户对虚拟环境中运动范围的要求不断提高,不再仅满足于单个房间内的小范围移动,而希望能在更大范围进行漫游和交互。为此,提出了一种光学定位追踪系统,通过在天花板或地面布置少量的红外LED标记点来实现精确的相机三维追踪。所述跟踪系统使用了最基本的点、线元素构建标记点图案,通过设计该标记点图案的编码原则、布局重复特征检索方法和对应点匹配算法,实现了标记点图像的快速、精确解析。实验证明系统计算的位置精度可以控制在毫米级别范围内,同时在对抗标记点抖动和遮挡等方面保持了较高的识别准确率。由此实现的跟踪系统具有低成本、易拓展和抗遮挡等特点,可以满足百平方米级别范围的实时追踪定位需求。

虚拟环境中人和虚拟角色互动的关键技术

剖析虚拟环境中人和虚拟角色互动的关键技术,其中空间定位、动作捕捉、眼动追踪和语音输入实现虚拟角色对用户的多通道交互输入信号的接收,反馈控制系统建立从交互输入信号到呈现给用户的多通道反馈输出信号的映射,反馈信号渲染将多通道反馈输出信号以虚拟角色的表情、动作、语音等形式呈现给用户,同时力触觉反馈技术支持虚拟角色提供触觉通道的交互,使交互具有更多的物理性。

增强现实中的虚实遮挡处理综述

虚实遮挡处理问题的研究对于增强现实系统的完善和实用化起到至关重要的作用,是增强现实应用中迫切需要解决的关键问题.由于受到图像前景分割、三维深度提取等相关关键技术的制约,目前国内外尚未出现完整的普适性解决方案.文中对增强现实中虚实遮挡处理问题的关键理论和技术进行了回顾和总结.首先对虚实遮挡处理问题及处理流程进行了描述;之后分析了国内外研究现状,对现有的基于建模、基于深度以及基于图像分析等3类处理方法进行了讨论,给出了每类技术的优缺点及适用范围,并总结了2种典型的改进方法;最后探讨了该领域的发展方向.

基于混合现实的新型轻量级飞行模拟器系统

编队训练和人-座舱的自然交互是研制飞行模拟器的关键技术问题。介绍了一套基于混合现实技术研制的具有虚实融合座舱视景的轻量级飞行模拟器系统。该系统的创新之一是使用基于多固定摄像机的虚实融合方法,采用2D四点纹理映射技术将多个摄像机摄取的座舱端交互区域的真实图像添加到虚拟座舱环境中。创新之二是可逼真地模拟真实的编队训练。系统初步试验结果表明,所研制的轻量级飞行模拟器系统增强了学员对飞行座舱环境的真实理解,提高了人-座舱的自然交互能力,在编队多机科目训练方面具有突出的优势,是大型飞行模拟器的有效补充。

基于深度相机的空间增强现实动态投影标定

为实现面向动态场景的空间增强现实,提出了一种基于深度相机的连续实时投影标定方法。提出将深度相机安装在投影机上,组成投影机-深度相机系统,系统的处理流程包括离线的标定及初始注册阶段,以及在线的跟踪阶段,最终生成虚拟模型与真实投影表面的投影映射,实现了虚实物体的对齐。为了验证所提出的方法,搭建了一套原型系统,实验结果证明,所提出的方法可以实时、精确地实现空间增强现实应用中的动态投影标定。

虚实运动一致性对虚拟现实晕动症的影响

晕动症是制约虚拟现实技术发展的重要因素之一,目前关于虚拟现实晕动症的研究大多基于静态或者运动仿真平台,极少在真实运动状态下进行研究。为了研究真实运动状态下的晕动症,设计了一套虚拟现实系统并对虚拟现实晕动症进行评测。系统使用头盔显示器和一辆可以实时采集运动状态的车辆,让参与者在实验过程中看到与真实运动状态一致的虚拟场景。通过主观和客观的对比实验对参与者在视觉和前庭感知冲突的条件下产生的晕动症程度进行了评价。实验结果表明,运动状态与视觉状态是否一致对虚拟现实晕动症有很大的影响,用户在使用系统时的晕动症程度会随着真实运动状态与视觉一致性的减小而提升,在极端条件下可产生用户无法承受的生理不适状况。

基于SIFT关键点的增强现实初始化算法

介绍了一种基于SIFT关键点的无标志点增强现实初始化算法。算法在已知场景少量标定关键帧图像的基础上,将关键帧图像与当前视频图像帧中的SIFT关键点进行匹配,利用RANSAC算法消除外点,而后利用图像匹配算法获取摄像机的位置和方向信息,完成系统的自动初始化工作。实验结果表明,算法鲁棒性强,跟踪定位精度高,有效地减小了人工干预的工作量。

基于增强现实的鼻内窥镜手术导航系统

针对目前传统鼻内窥镜手术过程中易引发并发症的问题,提出了一种基于增强现实技术的鼻内窥镜手术导航系统.系统将病人脑组织、眼球及血管等三维模型实时叠加到内窥镜的手术视野中,在手术过程中对医生进行指引和提醒,此种方式能够减少鼻内窥镜手术并发症的发生.术前对病人进行CT或MRI扫描,并对扫描结果分割重建获得病人颅内组织或器官的三维模型;再用三维扫描仪扫描获得病人面部数据.采用DLT算法将CT坐标系及光学跟踪器坐标系分别与三维扫描仪坐标系进行配准.术中使用光学跟踪器对手术器械进行实时跟踪,利用配准结果完成虚实融合叠加.通过实际实验验证,系统精度达到亚毫米级,能够满足实际手术操作的需要.

基于随动控制的数字圆明园增强现实系统注册方法

针对户外复杂环境中的增强现实三维注册问题,提出一种基于随动控制的跟踪注册方法.所提出的方法通过惯性跟踪器实时获取角度跟踪数据,通过步进电机驱动高精度随动转台随动控制实景摄像机旋转,之后根据跟踪结果在虚实三维空间中建立摄像机模型,注册配准虚实摄像机的角度信息.所提出的随动控制使得跟踪器的误差不直接影响虚实叠加,降低了环境因素的影响.系统滞后和误差的实验数据分析表明所提出的方法提高了跟踪的稳定和精确性,在圆明园大水法遗址的实地应用结果证明了系统的实用性.

离全面爆发，还有几个拦路虎？

硬件平台如果要想实现普及，则需要得到软件的内容支撑，两者的关系就如同左右脚、鸡和蛋。

基于投影红外标志点的室内大范围增强现实跟踪方法

提出一种基于投影式红外标志点的方法用于室内大范围增强现实跟踪注册.设计一种红外投影装置与红外激光发射器配合作为红外标志点发生器.采用红外摄像机采集红外图像,另一摄像机采集真实场景.提出利用解决同时定位与地图生成的SLAM方法,对红外图像进行分析,由一个初始已知标志点开始,跟踪投影在墙面或天花板上的其他红外标志点.由扩展卡尔曼滤波算法得到红外摄像机位姿,进而完成三维注册.实验证明该方法原理可行,能够满足实时跟踪注册的要求.

现代创业型高职院校的继续教育模式创新

当前,日益严峻的就业形势和激烈的市场竞争,创业型高职院校作为人才培养的重要场所,对深入推进高职继续教育发展,提高教学水平和人才培养质量具有深远影响。当前,由于体制机制等多方面原因的影响,高职院校继续教育发展中还面临许多亟待解决的问题,我们要在分析高职院校继续教育发展现状的基础上提出有针对性的解决策略和建议。

编码孔径相机获取优化全景图的新方法

提出一种利用编码孔径相机拍摄照片并进行全景图拼接的方法.首次将深度相机和全景摄影结合起来,利用编码孔径相机获得的场景深度信息,可得到只含感兴趣部分的全景图以及细节清晰的全聚焦全景图.与传统直接将源照片按照几何分布拼接在一起的全景图拼接方法相比,本文方法能够有效去除场景中近景物体在全景拼接中的错误,避免中距离物体破坏远景场景的完整性,同时获得全景图的模糊部分进行优化.在这个框架下,运用本文方法对各种全景图拼接进行了大量实验,展示了拼接的过程以及拼接结果,结果表明本文提出的计算框架能够有效达到优化全景图的目的.

基于监督学习的单幅图像深度估计综述

单幅图像深度估计是三维重建中基于图像获取场景深度的重要技术,也是计算机视觉中的经典问题,近年来,基于监督学习的单幅图像深度估计发展迅速.文中介绍了基于监督学习的单幅图像深度估计及其模型和优化方法;分析了现有的参数学习、非参数学习、深度学习3类方法及每类方法的国内外研究现状及优缺点;最后对基于监督学习的单幅图像深度估计进行总结,得出了深度学习框架下的单幅图像深度估计是未来研究的发展趋势和重点.

增强现实游戏交互模式对比

为了研究增强现实技术对常见交互模式用户体验的影响以及该技术适合应用的游戏场景,对比了增强现实游戏和传统手机游戏中2种交互模式的差异.采用复杂程度不同的交互模式进行全面分析,简单模式采用"按钮交互"过程,复杂模式采用"收集"过程.通过可用性测试、问卷调查以及自由访谈等方式收集用户反馈;最后通过分析数据得出2种交互方式的差异,并对2种交互模式适合的应用场景给出建议.

基于增强现实的鼻内镜微创手术导航系统

近年来增强现实技术给手术导航系统带来了更直观的显示方法,增强现实技术运用在鼻内镜微创手术中将较好地解决内镜下的影像和导航仪提供的图像的显示问题,降低了手术的风险。本文提出了一个基于增强现实的鼻内镜微创手术导航系统,能将虚拟模型和病人的鼻内镜术野图像以及手术器械融合显示,从而提供病人鼻窦结构的准确空间信息,并可将手术"禁区"突出显示于导航屏幕,当手术器械接近手术中危险区域例如颅腔和动脉时,对手术器械"越位"进行报警提示,所研制的系统在临床应用中具有十分广阔的应用前景。

独立董事的独立性制度探讨

独立董事制度是我国公司治理的一个重要组成部分。作为独立董事的一个最大特点就是其"独立性"。分析了独立董事独立性的重要作用,独立性的具体内容,就如何保持独立董事的独立性谈了几点看法。

视频立体增强现实系统舒适度评价方法研究

立体图像效果的评价是一个热点问题,许多文献对此进行了深入的探讨。但是,对于立体增强现实系统的立体效果进行研究的文献比较少,针对视频透射式立体增强现实系统,对其舒适度进行了研究,设计了三个实验并对影响立体增强现实系统虚实融合效果的因素进行分析。实验表明虚拟摄像机与实景摄像机参数的匹配程度对最终的舒适度具有影响。对于立体增强现实系统的设计具有一定参考价值。

虚拟人语音交互对焦虑情绪舒缓效果研究

近年来,虚拟人已经在医学、心理学等领域得到了广泛应用,但其对于焦虑情绪的舒缓作用尚未得到实证研究。为此,搭建了一套包含立体显示与表情、肢体、语音交互的虚拟人系统,并针对虚拟人对焦虑的舒缓效果开展系统深入的研究。通过立体显示原理搭建出显示真实度高的虚拟人系统。通过对Virtual Human Toolkit开发包的改进,实现了虚拟人的动作驱动和中文语音交互,在此基础上针对焦虑情绪采用语音互动的方式,结合状态-特质焦虑量表和心电数据参数对舒缓效果分别进行主观和客观的评估。实验结果表明,通过高真实度的虚拟人系统对用与进行交流可以显著地舒缓焦虑情绪。