基于脑电节律能量与模糊熵的VR诱发晕动症水平检测研究

晕动症一直是影响虚拟现实用户体验及限制虚拟现实行业发展的一个关键因素。为解决这一问题,本文研究了虚拟现实晕动症对大脑神经活动的影响,并利用脑电特征对晕动症水平进行检测。为得到可度量眩晕水平的特征,记录受试者在体验眩晕测试场景前及过程中的脑电信号,计算节律能量和模糊熵,并利用统计分析进行特征选择,最后分类验证该特征的有效性。结果表明,受试者产生晕动症时,CP4和Oz的θ、α频段能量及C4的β、γ频段能量显著降低(p<0.01);在模糊熵方面,δ频段有FC4、Cz模糊熵值显著升高(p<0.0001),β频段有O1模糊熵值显著降低(p<0.0001)。对比线性判别分析(Linear discriminant analysis,LDA)、逻辑回归(Logistic regression,LR)和支持向量机(Support vector machine,SVM),K最近邻(K-nearest neighbor,KNN)算法的分类效果较好,它在节律能量和模糊熵上的分类准确率分别为89%和91%。本研究表明脑电节律能量及模糊熵有望成为晕动症水平检测的有效指标,为研究虚拟现实晕动症成因及缓解方案提供客观依据。

基于纹理图像和用户动作信息的纹理触觉再现方法研究

近年来,对虚拟表面纹理进行工具介导的振动触觉再现已经成为触觉领域的一个研究热点。针对已有的纹理触觉渲染方法还存在适用范围窄、泛化能力弱、交互真实感低等问题,以改进后的MelGAN为基本网络,构建了一种新的纹理触觉渲染模型。该模型以纹理图像和用户的实时动作信息为输入,在能够高保真地生成振动触觉信号的同时,对常见纹理图像拥有更好的泛化能力。此外,设计了一款具有动作信息实时采集和振动触觉表达功能的笔式装置。在采集了数据库之外的真实纹理表面的振动触觉信号后,比较了提出的模型与已有方法在信号生成方面的性能差异。结果表明,模型实现了最低的均方根误差(0.173),验证了其对未建模纹理进行触觉渲染的能力。最后,使用笔式装置进行了两项用户实验。平均6.01的主观相似度评分说明,即使是数据库之外的新纹理,模型也能为用户提供较高的纹理交互真实感。

基于脑电微状态的虚拟现实晕动症研究

针对脑电节律能量无法反映时间信息且对空间信息的探讨并不充分等问题,通过运用微状态分析方法,对虚拟现实晕动症(vRMS)相关脑电信号的时空模式进行了研究,从而检测虚拟现实晕动症。使用多元变分模态分解(MVMD)将脑电信号划分为从低频到高频的5个频段,分析了脑电微状态的出现频率、平均持续时间、覆盖率以及转换率的变化,最后利用统计分析和分类方法验证这些特征的有效性。研究结果表明,5个频段融合所有特征的分类准确率达到最大值83.9%。因此,微状态方法可望为研究VRMS提供新思路。

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。

基于振动加速度信息的触觉纹理分类方法研究

当手持刚性工具在材料表面滑动时,用户可以通过工具的振动来感受材料表面的纹理特征。这些振动加速度数据包含了丰富的纹理类别信息,为纹理的分类提供了基础。利用触觉进行纹理分类对于力触觉人机交互、机器人精细化操作等应用具有重要的意义。目前,手工设计与纹理相关的特征以及借助卷积神经网络进行简单的特征提取等方法已经被应用于触觉纹理分类。然而,这些方法未能关注时间尺度的选择和触觉序列数据间的时间依赖性,还存在触觉数据特征提取不充分和分类精度不佳等问题。为了解决上述问题,本文提出一种由多尺度卷积网络和双向长短时记忆网络相结合的融合模型,以便同时捕获触觉信号多尺度的几何局部空间特征和时间依赖特征。所提出的模型从公开的触觉数据集中学习材料表面纹理的触觉特征,并在公开的纹理振动加速度数据库上进行训练。实验结果表明,本文提出的模型可以稳健且高效地实现最高92.1%的纹理分类精度。

非语言信息增强和对比学习的多模态情感分析模型

因具有突出的表征和融合能力,深度学习方法近年来越来越多地被应用于多模态情感分析领域。已有的研究大多利用文字、面部表情、语音语调等多模态信息对人物的情绪进行分析,并主要使用复杂的融合方法。然而,现有模型在长时间序列中未充分考虑情感的动态变化,导致情感分析性能不佳。针对这一问题,该文提出非语言信息增强和对比学习的多模态情感分析网络模型。首先,使用长程文本信息去促使模型学习音频和视频在长时间序列中的动态变化,然后,通过门控机制消除模态间的冗余信息和语义歧义。最后,使用对比学习加强模态间的交互,提升模型的泛化性。实验结果表明,在数据集CMU-MOSI上,该模型将皮尔逊相关系数(Corr)和F1值分别提高了3.7%和2.1%;而在数据集CMU-MOSEI上,该模型将“Corr”和“F1值”分别提高了1.4%和1.1%。因此,该文提出的模型可以有效利用模态间的交互信息,并去除信息冗余。

一种新型剪切阀式旋转MR制动器的开发与评估

基于磁流变(Magnetorheological,MR)液的流变特性,MR制动器具有的高转矩-体积比(Torque-to-Volume Ratio,TVR)和低功耗优点使其成为一种应用前景广泛的被动力输出装置。为了提高旋转型MR制动器在单位空间内的输出制动转矩,基于凸轮结构提出了一种在剪切阀模式下工作的旋转型MR制动器。首先,介绍了这种新型MR制动器的总体结构,并基于Bingham塑性模型和凸轮模型对MR制动器的输出制动转矩进行了理论推导。然后,利用ANSYS软件和多目标优化设计方法,对制动器的结构进行有限元分析,得到最优的几何参数。在自主搭建的实验平台上对制动器进行了性能测试实验,结果表明,该制动器具有较高的TVR、较低的初始制动转矩和良好的动态特性。该制动器在较小的体积下能够实现最大42.4 kN/m^(2)的TVR,可以很好地满足力触觉交互、康复训练、可穿戴设备等需要小体积和大输出转矩的应用场景。

用于盲人数字化阅读的指套式全锁止盲文显示装置

由于视力存在障碍且缺乏社会关注,盲人的阅读便利性问题一直没有得到很好的解决。针对已有盲文显示装置存在的锁止力小、能耗大等问题,开发了一种用于盲人数字化阅读的指套式全锁止盲文显示装置,并通过理论推导、有限元分析对其进行仿真和优化。该装置中的盲文点执行器依靠横梁结构进行全锁止,能够为用户提供足够的反馈力,提高了盲文点识别的准确率和阅读效率。性能测试结果表明,盲文点执行器平均上弹力为101.67 mN,锁止力为5 N以上,平均刷新频率为17.7 Hz,符合设计要求。用户实验结果表明,识别盲文点平均准确率达到94%,且用户主观评价较高。可以看出,该装置可以提高盲人数字化阅读水平,并为盲人便携地阅读数字文本提供了一种良好的途径。

一种高保真视-触觉增强现实系统的搭建

随着增强现实技术的发展,仅包含视觉的增强现实技术已经不能满足人们的需求,而加入触觉信息形成的视-触觉融合的增强现实系统却越来越受到关注。触觉设备是将真实环境和虚拟环境连接起来的纽带。然而,触觉设备在视场中的存在会带来两个问题,一方面触觉设备占据了很大的视觉空间,另一方面触觉设备的定位往往会出现较大的误差,导致了视-触觉增强现实的真实性下降。为了增加使用者的体验感,提出一种高保真视-触觉增强现实环境的搭建方法。首先基于改进的ORB(Oriented FAST and Rotated BRIEF)和KLT(Kanade-Lucas-Tomasi)增强现实跟踪注册算法搭建稳定的视觉增强现实环境。其次提出了一种能校准触笔位置和方向的方法,以提升交互体验。然后提出一种基于力反馈的触觉渲染算法,最后使用改进的全局泊松方程和Criminisi算法对触觉设备进行隐藏和修复,减小因触觉设备存在对用户沉浸感造成的影响。

基于二值条纹三维测量的相位补偿方法

快速三维测量在工业检测、逆向工程领域得到广泛应用,提出一种基于二值条纹解相的三维测量方法。首先,通过投影1幅二值条纹图像,利用条纹级次分布特点,将携带物体相位信息的图像分割成两个条纹掩膜,利用连通域对白色像素点进行阶梯式标记,以此获得条纹级次。其次,由于环境噪声等干扰因素导致解相时出现跳变误差,因此提出了通过融合半周期位移级次的方法来对相位进行补偿,利用解相的二值条纹来获取半周期错位的互补级次。最后,根据条纹级次和互补级次实现解相进行实验验证。实验结果表明,本文方法解决了相位展开时出现的毛刺问题,并以平板为测量对象,利用本文方法测得的均方根误差为0.1980 mm,且只需要1幅图像即可完成解相,具有良好的鲁棒性和有效性,可应用于快速测量领域。

轻量化自监督单目深度估计

目前,大多数的增强现实和自动驾驶应用不仅会使用到深度网络估计的深度信息,还会使用到位姿网络估计的位姿信息.将位姿网络和深度网络同时集成到嵌入式设备上,会极大地消耗内存.为解决这一问题,提出一种深度网络和位姿网络共用特征提取器的方法,使模型保持在一个轻量级的尺寸.此外,通过带有线性结构的深度可分离卷积轻量化深度网络,使网络在不丢失过多细节信息前提下还可获得更少的参数量.最后,通过在KITTI数据集上的实验表明,与同类算法相比,该位姿网络和深度网络参数量只有的35.33 MB.同时,恢复深度图的平均绝对误差也保持在0.129.

基于Marker-SLAM的视触觉增强现实交互算法

视触觉增强现实是将触觉感知加入到增强现实中的一种新技术。不仅可以融合真实场景和虚拟对象,还能实现视觉和触觉的同步感知。基于3D Systems Touch触觉设备提出一种新的视触觉交互算法。首先,基于Marker-SLAM算法搭建增强现实环境,用于实时获得相机在地图中的位姿;其次,为了将触觉信息融入到增强现实环境中,提出基于无跟踪器的触控笔尖端姿态优化算法;最后,分别采集测量点在触觉和世界坐标系中的三维信息,通过确定两个坐标系间的刚性变换,将触觉设备的正向运动模型映射到增强现实空间中。所提出的跟踪注册方法的注册准确率均达到90%以上,与基于跟踪器的方法相比,所提出的姿态优化算法获得的校正位置的平均误差为2.3±0.2 mm。

基于触摸屏交互的指套式盲文再现系统

在当今信息时代,传统的纸质盲文书籍在传播知识方面存在很多不足,逐渐无法满足视障人士的盲文阅读需求。受可穿戴装置的启发,提出了一种基于触摸屏交互的指套式盲文再现系统。根据标准盲文的结构特点、视障人士感知盲文的方式,以及指套式装置对小型化要求,设计了一种新型的盲文点执行器,并通过有限元分析对其结构和参数进行了优化。性能分析和用户实验的结果表明,提出的盲文点执行器具有刷新频率高、功耗低和体积小等优点,并能够实现在最高位和最低位的锁止操作。提出的盲文再现系统将便携的指套式装置与数据可刷新的触摸屏相结合,并利用4个压电陶瓷执行器的振动触觉反馈引导手指在触摸屏上的运动方向,为视障人士提供了一种便捷阅读盲文的新途径。

基于脑电样本熵功率谱的VR诱发晕动症分析

如今,虚拟现实(VR)技术已在各个领域得到广泛应用,但很多VR系统在带给用户沉浸式体验时会使其产生一种不适症状——虚拟现实晕动症。为弄清虚拟现实晕动症对大脑神经活动的作用,本研究招募被试者利用头戴式VR体验虚拟现实晕动症诱发场景,记录体验前及过程中被试者的脑电信号。采用样本熵及功率谱方法提取不同状态下被试者脑电特征,并进行显著性检验。从全频段来看,在电极F8、F12、CZ、CPZ及OZ处的样本熵均值具有显著性差异,在电极F7、T7及T8处的功率谱均值具有显著性差异(P<0.01);从分频段来看,在Delta及Theta频段的样本熵均值及功率谱均值同时具有显著性差异(P<0.01)。研究结果表明,样本熵与功率谱分析结果可能与虚拟现实晕动症有关,有望成为度量虚拟现实病的有效指标。

基于梯度差自适应学习率优化的改进YOLOX目标检测算法

目标检测一直都是计算机视觉领域最具挑战的问题之一,其广泛应用于人脸识别、自动驾驶和交通检测等任务中。为更进一步提升当前主流目标检测算法的性能表现,提出了基于YOLOX的目标检测改进算法,并在标准的PASCAL VOC 07+12和RSOD数据集上进行实验验证。针对YOLOX目标检测算法主要通过数据增强、改进网络结构和损失函数3方面做出改进,同时提出基于梯度差的自适应学习率优化算法用于训练改进后的YOLOX算法,该优化算法同样适用于其他神经网络优化。在PASCAL VOC 07+12标准数据集上进行实验,与原YOLOX-S进行比较,改进后的YOLOX-S算法的AP由61.63%提升到66.35%,提升效果明显。同时在RSOD标准数据集上进行实验,并与其他主流的YOLO系列算法进行了比较,改进后的YOLOX-S算法在RSOD数据集的AP由69.4%提升到73.2%,提升效果显著。实验表明:针对YOLOX的目标检测做出改进是有效的。