彩色图像的纹理力/触觉渲染方法

针对图像纹理力/触觉再现技术中用灰度变化表征纹理所导致的彩色图像在灰度变换后丢失纹理信息的缺点,用颜色变化表征纹理,提出彩色图像的纹理力/触觉渲染方法.该方法中,切向力的计算基于像素力场算法,法向力的计算基于惩罚算法,根据颜色和空间感的心理学效应提出由亮度和色调决定约束空间,合力通过手控器反馈给操作者.实验结果表明,文中方法能够有效地对彩色图像纹理进行力/触觉渲染.

基于碰撞检测的触觉渲染优化方法

提出了一种基于碰撞检测的触觉渲染优化方法,根据触觉设备的运动状态,在主线程中动态构造一个包围盒,使用方向包围盒(OBB)碰撞检测方法裁减掉大量的不可能"触摸"到的三角面片集,只渲染可能"触摸"到的三角面片集。实例分析表明优化后的触觉渲染算法占用时间基本不受场景中三角面片数量的影响,适合虚拟装配场景的触觉渲染。

一种面向协同式触觉虚拟装配系统的触觉渲染方法

基于C/S结构的触觉式协同虚拟装配系统,提出了一种基于接触状态预测的协同式触觉渲染方法。该方法在服务端预测基本的接触状态,在客户端根据本地HIP的位置和从服务器端接收到的接触状态计算具体的反馈力,发送给该本地的触觉设备。该方法可以大大的减轻网络传输的负荷,减少由于HIP位置预测误差和网络延时扰动造成的反馈力计算误差。该方法适用于固定曲率和曲率小变化的曲线和曲面体的渲染。

面向视频感知的静电力触觉渲染方法

针对视觉障碍的人获取视频等数字媒体信息受限的问题,为扩展视频等数字媒体信息的触觉感知通道,提出一种面向视频感知的静电力触觉渲染方法。首先,采用基于像素点的视频帧处理算法,根据手指触摸位置获取当前视频帧的目标像素点,然后将目标像素点彩色信息从RGB模型转换为HSI模型,利用像素点色调分量来映射静电力激励信号频率参量,结合像素点亮度和饱和度分量来映射静电力激励信号幅度参量,合成静电力触觉激励信号,实现对实时视频的触觉渲染和感知。最后,设计动态色彩感知实验和亮度辨识感知实验,结果表明,该方法可实现对视频中物体信息的触觉感知,动态识别平均正确率达90.6%,色彩辨识平均正确率达69.4%,亮度辨识平均正确率达80.0%,所提方法能有效提取视频中的动态特征信息,增强视频触觉渲染的实时性。

图像局部纹理特性的静电力触觉渲染

目的触摸触觉设备感知物体时,需要实现视觉—力触觉同步反馈,其中图像—力触觉反馈难点在于再现更真实的纹理触感的触觉渲染过程。本文提出了一种基于图像局部纹理特征的静电力触觉渲染模型,实现了更加清晰、触感真实的图像纹理的静电力触觉反馈。方法首先,采用局部傅里叶变换方法强化局部纹理特征,提取傅里叶变换系数分离出表征形状和局部纹理、边缘的频域分量。其次,对局部纹理特征进行力触觉渲染,建立局部纹理特征与驱动信号的映射模型,采用比例模型将局部纹理特征值转化为同等级的静电力表达。最后,根据静电力与驱动信号的心理学模型,由局部纹理特征控制不同驱动信号的输出产生静电力触觉。结果进行纹理触觉对比感知实验验证算法有效性,62.5%的实验参与者偏爱基于图像局部纹理的触觉渲染算法反馈的纹理触感,本文算法可以模拟多种图像的纹理、边缘的触感。结论算法在频域分离图像局部纹理、边缘和形状特征,建立纹理—力触觉渲染模型,针对大多数图片可以有效地增强纹理触感,提升触觉再现交互技术的沉浸感。

基于纹理图像和用户动作信息的纹理触觉再现方法研究

近年来,对虚拟表面纹理进行工具介导的振动触觉再现已经成为触觉领域的一个研究热点。针对已有的纹理触觉渲染方法还存在适用范围窄、泛化能力弱、交互真实感低等问题,以改进后的MelGAN为基本网络,构建了一种新的纹理触觉渲染模型。该模型以纹理图像和用户的实时动作信息为输入,在能够高保真地生成振动触觉信号的同时,对常见纹理图像拥有更好的泛化能力。此外,设计了一款具有动作信息实时采集和振动触觉表达功能的笔式装置。在采集了数据库之外的真实纹理表面的振动触觉信号后,比较了提出的模型与已有方法在信号生成方面的性能差异。结果表明,模型实现了最低的均方根误差(0.173),验证了其对未建模纹理进行触觉渲染的能力。最后,使用笔式装置进行了两项用户实验。平均6.01的主观相似度评分说明,即使是数据库之外的新纹理,模型也能为用户提供较高的纹理交互真实感。

基于离散能量法的牙体预备仿真力觉渲染算法

在力觉交互的虚拟现实系统中,力的逼真度和系统稳定性是系统的两个重要性能.在力觉交互虚拟现实牙医培训系统中,通过力反馈设备作用在医生手上的力直接影响培训质量.采用四面体剖分建立人类牙齿的实体模型.结合经验公式和实验数据,提出了一种牙体预备虚拟切削力模型,研究了保证系统稳定性和虚拟力逼真度的算法,并利用离散能量法对等采样间隔的切削力序列进行渲染处理,使得力信号在力的逼真度和系统稳定性之间得到优化解,较好地消除了力序列中的高频振动,从而改善了力觉交互虚拟现实牙医培训系统的性能.

基于PDE方法的图像力触觉再现方法研究

针对基于图像的力触觉再现技术中目标的轮廓形状与细节纹理容易混淆从而影响判断的问题,提出了利用偏微分方程将图像的轮廓形状信息与细节纹理信息分离,然后针对各自特点分别采用不同方法进行力触觉渲染。其中轮廓形状信息采用SFS技术从二维图像中恢复出三维表面模型,并用God-object算法进行力触觉渲染;细节纹理信息则直接用图像灰度值计算法向力和切向力来进行力触觉渲染。实验结果表明,该方法可行,能够有效地减少基于图像的力触觉再现中的误判现象,提高操作者对虚拟环境的力触觉感知和识别能力。

面向磁悬浮视触觉交互的多速率系统框架

非接触式磁悬浮视触觉交互克服了机械式交互的固有摩擦,具有广阔应用前景,但存在交互过程中虚拟工具穿透物体、图形渲染与触觉渲染速率不一致等问题。针对上述问题,提出面向磁悬浮视触觉交互的多速率系统框架,通过扩展三自由度(3-DOF)单射线触觉渲染方法,利用多射线对虚拟工具进行建模,避免工具穿透,实现六自由度(6-DOF)触觉渲染;通过多速率并行,实现速率不一致模块间相互协同;通过构建映射滤波算法,实现视觉定位数据到虚拟工具位姿的稳定映射。实验结果表明,该系统能有效避免交互过程中的穿透现象,并提供稳定、真实的视触觉反馈。

可溶性液体的真实感触觉交互研究

现有的触觉交互研究多数集中在模拟单相流的触觉交互,忽略了可溶性液体中不同液体之间的差异,不能直接应用于可溶性液体的触觉交互。为解决可溶性液体触觉交互过程中出现的不真实和不稳定等问题,提出一种新的触觉渲染方法。运用该方法在液体混合过程中得到真实、稳定的触觉力,并在触觉力的计算过程中添加摩擦力等分力的计算,提高触觉交互的真实性。实验结果表明,与传统可溶性液体触觉交互方法相比,该方法可以提高触觉力的真实性和稳定性,为用户提供更真实的体验。

虚拟环境下石墨微观表面的力感知技术研究

介绍了虚拟环境下基于物理模型的触觉渲染技术和算法。提出了利用在物体表面上的点仿真物体对其静态摩擦约束,逐渐增大施加在该点上的力,直到由静态摩擦变为动态摩擦,由于在动摩擦和静摩擦转换之间计算模型没有发生变化,因此该模型可以在状态转换时稳定地计算出摩擦力的大小。最后描述了该模型在石墨微观表面的力感知中的应用。

基于四面体网格的软组织位置动力学切割仿真算法

为满足虚拟手术中软组织变形与手术模拟的真实性和实时性要求,提出了一种基于四面体网格和位置动力学的软组织切割模拟算法.首先,本算法以四面体作为软组织几何模型的基本操作单元,物理模型采用位置动力学模型驱动软组织变形,四面体网格的凸包形成软组织的外表面.其次,本算法对位置动力学模型进行了扩展,支持了模型拓扑改变的情况,使其适用于软组织的切割模拟.再次,利用支持纹理信息的四面体网格作为几何模型,能生成细节丰富的切口.最后,在该算法上实现了力反馈设备的应用,增加了切割过程中的触觉模拟,增强了虚拟手术中手术环境和过程模拟的真实性.实验表明:该模型能提供真实和高效的变形模拟,并具有较高稳定性和可操作性.本算法目前已应用在北航虚拟现实技术与系统国家重点实验室开发的医学手术模拟器上.合作医院在使用模拟器进行的腹腔镜检查手术方面已经做了前导性的研究,医生对模拟器评价也较高.

力反馈技术在虚拟装配中的应用研究

在虚拟装配中,力反馈技术有着广泛应用前景和迫切的现实需求,但目前存在普通触觉渲染引擎不适用于虚拟装配,专业设备价格高昂等问题。该文提出了一种在普通三维引擎的基础上,将力反馈技术运用于虚拟装配的方法。首先,设计了具有力反馈功能的虚拟装配程序的基本框架。其次,在现有触觉渲染引擎的基础上,针对虚拟装配的特点,以God-Object算法和Force-Shading算法为基础,设计并实现了符合虚拟装配要求的触觉渲染模块。结果表明力反馈技术能有效提高虚拟装配的效率。

支持力反馈的肝脏手术虚拟仿真及研究

该文提出了一种基于支持力反馈的肝脏虚拟手术仿真系统,支持力反馈的肝脏虚拟手术仿真实现流程主要包括CT影像的肝脏三维重建、空间场景构建、实时动态交互设计、反馈力的手术操作仿真。虚拟仿真环境搭建完成后,用户能够通过头盔式显示设备HTC Vive Pro及其所配备力反馈手柄在虚拟手术场景中进行肝脏手术切割的沉浸式知识学习及实际操作训练。针对临床病例的病灶特征,通过肝脏医学CT断层扫描影像的获取及处理,获得基于VR虚拟现实漫游系统所需三维重建人体肝脏模型;通过真实手术场景的设计与手术操作的模拟仿真,设计了一套包括肝脏病理知识学习与实际手术切割缝合的仿真系统,并引入头盔式虚拟漫游设备及力反馈的震动手柄,进行了人体肝脏手术的虚拟仿真应用系统实现,为医学手术培训仿真提供了一种有效的应用场景解决方案。实验结果表明,该方法能够有效应用于基于CT影像三维重建的虚拟漫游场景呈现,尤其是在医学手术培训仿真领域,具有很强的应用创新价值。

An improved 3D shape haptic rendering algorithm for finger mounted vibrotactile device

To improve the sense of reality on perception, an improved algorithm of 3D shape haptic rendering is put forward based on a finger mounted vibrotactile device. The principle is that the interactive information and the shape information are conveyed to users when they touch virtual objects at mobile terminals by attaching the vibrotactile feedback on a fingertip. The extraction of shape characteristics, the interactive information and the mapping of shape in formation of vibration stimulation are key parts of the proposed algorithm to realize the real tactile rendering. The contact status of the interaction process, the height information and local gradient of the touch point are regarded as shape information and used to control the vibration intension, rhythm and distribution of the vibrators. With different contact status and shape information, the vibration pattern can be adjusted in time to imitate the outlines of virtual objects. Finally, the effectiveness of the algorithm is verified by shape perception experiments. The results show that the improved algorithm is effective for 3D shape haptic rendering.