基于Kinect V2和Unity3D的机械臂人机交互系统

针对人机交互方式存在不直观、操作复杂等问题,论文利用手部追踪技术开发出一种基于Kinect V2和Unity3D的人机交互系统,用户可以直接挥动手部就可以控制机械臂运动,交互方式更加简单、直观和灵活。该系统是通过Kinect V2来获得手部移动轨迹来实现手部追踪,并在Unity3D平台上进行交互系统的开发。利用FABRIK算法和贝塞尔曲线分别实现了逆运动学求解和运动路径的记录,通过C#编写所需的脚本功能并开发出了两种交互模式,分别为实时控制模式和示教模式,两种模式均可通过UI面板进行选择。最后对两种模式分别进行实验,实验结果证明了该系统的可行性。

基于Unity3D与Kinect的康复训练机器人情景交互系统

近年来,康复机器人技术的研究已成为康复医学工程与机器人领域跨学科的研究热点。为提高康复训练机器人的交互能力,将虚拟现实技术、机器人技术相结合,研究基于虚拟场景交互的下肢康复训练机器人系统,使用Kinect传感器采集人体的骨骼信息,并运用Unity3D游戏引擎和3D Studio Max软件开发了用于情景交互的虚拟场景,设计了患者与虚拟人物步态同步控制算法,实现了康复训练过程中的同步交互。实验结果表明,同步步态控制算法有效,人机交互良好,可帮助并激励中风患者实现主动的康复训练。

基于Unity3D和Kinect的体感跑酷游戏开发关键技术设计与实现

针对游戏中虚拟现实游戏的趣味性,交互性,以及虚拟现实游戏的操纵性等问题,设计基于Kinect体感设备和Unity3D游戏,对体感设备捕获到的数据进行分析,使游戏中的人物的行动符合我们的预期,研究场景的实时动态加载、场景优化和NGUI等关键技术,以满足游戏的交互性,趣味性和游戏真实性,对今后体感游戏的开发有一定的参考价值。

基于Kinect与Unity3D的增强现实应用的设计与实现

增强现实(Augmented Reality,AR)是虚拟现实技术的一个重要分支,它强调的是真实与虚拟的无缝融合。传统的增强现实应用普遍存在设备昂贵、技术繁杂等问题。利用Kinect实时获取人体彩色图像数据、深度图像数据与骨骼关节点数据的强大功能,在Unity3D中设计与实现了一个利用手势交互控制、实时抠图并自动拍照的增强现实应用。应用测试结果表明:该应用可以很好地实现手势交互控制操作,实时合成使用者和其所选择的虚拟背景图片。同时,结合AR游戏,可以让更多的人以较低的成本体验增强现实技术带来的乐趣,具有较好的现实意义与推广性。

Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。

基于Unity3d和Kinect的核电体感畅游系统的设计与应用

传统虚拟核电漫游系统存在运行不流畅、画面效果不佳等问题,且键盘鼠标交互方式缺乏一定的趣味性。设计基于Unity3d的虚拟核电畅游系统,研究场景实时动态加载、场景优化等关键技术;引入Kinect深度传感器,利用骨骼跟踪技术,对体感设备捕获的数据进行分析,识别人体动作姿势,将识别的姿势映射到虚拟场景中并进行体感交互;从而满足系统的流畅度、效果真实性、交互性和趣味性。结果表明,通过核电体感畅游系统,用户可以方便地在虚拟核电厂内浏览,对核电站的运营与检修、科普宣传和人员培训具有很大的应用价值。

Unity3D中的Kinect声源定位与人机交互技术

Kinect是与Xbox360游戏机配套使用的一款外设,内置四元线性非对称麦克风阵列,可以根据各麦克风接收到声音信号的时延差,计算出声源方位与角度。Unity3D是一个可以创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型游戏引擎,其本身缺少高级人机声音交互功能。为此,研究开发了基于Kinect的Unity3D人机声音交互接口。采用C++/C#混合编程技术,将Kinect API for Windows中关于声音的相关功能封装为非托管的C++动态链接库(DLL),利用该DLL把Unity3D引擎、Kinect体感设备和Visual Studio平台衔接起来;在Unity3D平台上对由Kinect获取到的声源位置进行识别定位,得到的实时数据可用于高级人机交互应用。

Unity3D中的Kinect主角位置检测与体感交互

将Kinect与Unity3D联合,使玩家在三维虚拟场景里通过肢体控制游戏。根据Kinect的骨骼跟踪原理,对用户进行实时骨骼跟踪,利用Kinect SDK获取Kinect记录的关节点三维数据,实现硬件设备与Windows平台的连通。通过CMU的Kinect Wrapper实现Kinect SDK与Unity3D之间的数据交互。测试时,在Unity3D中建立三维虚拟场景,通过Kinect Wrapper中的Kinect Model Controller V2脚本对场景内的人物模型进行控制,并在Unity3D平台上实时确定用户的三维位置信息,完成Kinect与Unity3D的体感交互,可以扩展应用于高级人机交互应用,如虚拟现实系统、作战模拟训练等方面。

Kinect体感控制性能优化方法

为提高基于Kinect体感应用程序控制识别的稳定性、准确性与鲁棒性,针对手臂光标延迟与身体控制场景内容稳定性的问题,提出在Unity3D平台下的体感控制性能优化方法。基于数据转化思想,通过放宽手臂光标触发成功条件,将单点稳定触发转化为范围稳定触发,实现手臂光标延迟性能优化;通过将身体位置控制场景内容转化为模拟键盘方向键输入的方法,实现身体控制场景内容稳定性优化。实验结果表明,该方法能够有效提高体感应用程序的相关性能。

基于Kinect的虚拟鼠标体感交互

针对传统鼠标键盘人机交互中交互感不强的问题,提出了人体骨骼点控制模拟鼠标的体感交互方法,采用人体自然交互代替传统鼠标键盘交互.使用Kinect体感摄像头追踪人体骨骼点,将特定骨骼点的移动范围映射到整个电脑屏幕上并传递给虚拟鼠标,控制鼠标在整个电脑屏幕内的移动,能够实现鼠标触发事件和人体与应用自然交互.

基于Kinect的体感康复游戏系统设计

传统的康复训练因理疗师和设备紧缺、训练场地有限、娱乐性差等问题,存在着很大的局限性。构建了基于Kinect与Unity3D的体感康复游戏系统,主要特色包括:虚拟人物与玩家运动同步;通过引导轨迹实现运行引导反馈、卡通目标点设定算法实现游戏的不同难度等。测试结果表明,系统具有很好的实时性、交互性和娱乐性,对类似体感游戏开发有较好的参考价值。

基于U3D和kinect1.0月光下舞蹈互动游戏的设计与实现

传统的游戏设备缺乏躯体活动,体感设备kinect的出现解决了这一问题。通过kinect1.0制作体感识别模块KinectSuperMario;通过untiy3D中U2D制作"月光下舞蹈的游戏"模块MoonLight;通过体感识别模块发送系统键盘和鼠标消息对游戏进行控制,阐释了"月光下舞蹈的游戏"模块功能、环境需求、游戏的开发流程、测试结果等。

基于Kinect的唐卡图像交互设计与实现

唐卡文化作为中华优秀传统文化的艺术瑰宝,其弘扬和传承一直备受关注。传统地唐卡文化展示方式存在着很多的局限性,高昂的制作成本、珍贵的原材料以及地域差异等各方面原因的约束,一定程度上制约了唐卡文化的弘扬。将现代科技与传统文化相结合,通过体感交互的新型交互方式传播唐卡文化,能够有效地避免传统展示方式中的不足,更好地弘扬唐卡文化。文中利用微软的Kinect体感设备,实时采集用户骨骼信息,并将采集到的数据通过中间插件传输到Unity3D交互场景中,展示手势控制的交互界面,以手势控制的方式实现堆绣唐卡的堆绣操作,并将堆绣成果通过扫描二维码的方式保存在个人移动设备中。新型体感交互方式不仅能够激发用户对唐卡文化的兴趣,而且能够很好地带动用户去认知、弘扬唐卡文化。

基于unity3D AR体感游戏的设计与实现

针对传统游戏方式存在影响人身心健康的弊端,设计基于kinect2.0体感设备和unity3D 2017.4.3开发AR体感游戏。介绍游戏总体设计,给出开发流程图,详细阐述游戏开发过程中的关键技术、方法和插件,程序首次大胆地将人物体感过程中的自拍照片按照Sisley油画风格和多尺度弧形笔刷风格进行处理。实验结果表明:该游戏运行流畅,功能和创新达到设计要求,能让玩家在娱乐中保留美好油画回忆。

基于Kinect的汽车底盘交互式展示设计与实现

借助Unity3D开发平台,从整体流程设计、交互式展示动画的制作、数据的连接、手势的识别、汽车底盘模型的交互操作等方面入手,对汽车底盘结构进行三维建模,设计交互式展示的仿真系统。采用Kinect深度传感器作为人体识别交互设备,应用到虚拟仿真系统中的汽车底盘展示和拆装训练中,提高用户的体验感,帮助识别汽车底盘部件,增强拆装训练立体感,具有前瞻性。该设计能够减少传统汽车底盘拆装训练耗费的财力物力,有效促进学生对知识点的深入理解,提高其实践能力和创新意识。

基于U3D和kinect2.0北极熊互动游戏的设计与实现

在传统的游戏世界中,几乎都通过鼠标、键盘或手柄的相关操作来娱乐[1]。如此会长时间静止的"坐着",和游戏的互动仅限于手和脑,而体感设备如Kinect、Leap Motion和Play Station Move等的出现打破传统娱乐的观念,特别是kinect设备的出现,完美的解决了这些弊端,使人们完全融入游戏,在游戏中锻炼了身体[2]。一般游戏引擎开发游戏的弊端有:开发周期长、3D效果不逼真、程序复杂、粒子效果和特效不佳等,而unity3d引擎的出现彻底摒弃了这些缺点。本文来将kinect2.0和unity3d 4.6.3结合起来开发北极熊体感游戏,从理论、技术和效果层面讲是完美的结合,文中创新的将图像分割GAC模型和基于小波分解的图像融合方法相结合,使KINECT拍取的人物照片和场景相融合,为游戏增加许多趣味性,并且使用四元数实现目标的旋转和移动。

基于Kinect的康复动作识别与评价系统

【目的】为满足患者在进行身体康复训练时的需求,设计出一款基于Kinect和Unity3D的康复动作训练及评价系统。【方法】患者在康复训练活动中,通过做指定动作来完成闯关游戏,从而实现康复。在训练过程中,通过Kinect来实时收集患者所作动作的序列信息,提取出不同关节角度相应的序列特征,并将提取到的序列特征与医学上认定的标准动作的序列特征进行对比。评测系统会拟合多名患者的康复训练过程评分,并根据评测结果给出针对性的康复动作。【结果】试验采用正负样本多次采样法,结果表明,通过多次使用Kinect康复训练系统,患者的健康水平会逐渐恢复至正常人群的平均值。【结论】患者通过多次多环节的康复训练,简化康复训练过程,从而达到医学康复的训练效果。

运动员体能训练动作量化修正系统设计

跑步比赛中0.01s就能决定比赛的成败,为了确保教练和运动员能够获得更多的体能训练动作量化指标,设计运动员体能训练动作量化修正系统。基于Unity3D引擎设计控制模块、训练动作采集模块、训练动作模拟处理模块,利用灰色预测模型在提取体能训练动作特征的基础上识别训练动作,计算模拟动作系数,实现运动员体能训练动作量化修正。实验结果表明,该设计系统对跑步训练动作腿关节、踝关节角动作速率的识别准确性较高,体能训练动作数据管理效率较高,满足了节约运动员体能实际训练时间的需求。

体感交互在虚拟校园漫游系统中的设计与实现

在安庆职业技术学院虚拟校园的基础上,结合最新的自然人机交互技术,摆脱传统的鼠标键盘交互,利用Kinect体感摄像机,采集人体运动数据,驱动虚拟人运动,并实现利用体感特征识别来操作虚拟人的行为,驱动虚拟人在校园系统中漫游.在Unity3D漫游系统中接入Kinect的驱动,实现Unity3D中Kinect方法的调用;在虚拟校园漫游系统中的体感交互漫游栏目中,实现Kinect的体感与场景虚拟人进行骨骼匹配.实验表明,虚拟校园以体感交互漫游为特色,增强了系统的创新性.同时可以开放很多接口,以便为后期的功能添加和完善.

虚拟现实技术在化学实验教学中的应用研究

虚拟实验应用日益广泛,而支持虚拟实验的相关技术成为了研究热点。分析了虚拟化学实验及其在未来虚拟现实技术上的发展趋势,综述了U-nity3D技术、增强现实技术和Kinect体感交互技术的理论基础以及在虚拟化学实验中的应用与发展,以虚拟技术融合的方法为导向,仿真化学实验的实时环境,使虚拟实验简单化、直观化。展望了虚实融合技术在虚拟实验领域的应用前景。虚实融合技术有利于推动虚拟化学实验朝智能化发展,是虚拟实验改革的一个新起点。