基于Kinect的手术辅助系统研究

针对手术室无菌环境要求非常高的现实需求,以及传统鼠标键盘等人机交互方式存在的需要定期消毒且无法在手术过程中进行操作等客观限制,对目前手术室中人机交互存在的问题进行了分析,提出了一套基于Kinect自然人机交互技术的手术辅助系统。该系统包括一个病人资料库、一套Windows系统下基于Kinect自然人机交互技术的控制程序及一套Kinect手术辅助系统硬件。实验结果表明通过Kinect可以收集操作者的手势、动作、声音等,并将其转化为操作系统可以理解的命令,对手术辅助系统进行相关操作,从而辅助手术进行。该系统对于改善手术条件、节省手术时间、缓解病患痛苦具有一定帮助。

基于HALCON的机械手视觉抓取应用研究

介绍一种特定的抓取式机械手的机械结构,利用HALCON图像处理软件中单目视觉ETH(Eye-to-Hand)系统手眼标定函数对机械手与摄像机系统进行手眼标定实验。利用获得的标定数据进行HALCON的图像处理,并将图像处理程序整合进VS2010平台与其它软件联合完成机械手视觉抓取系统的二次开发。最后用机械手视觉抓取实验来验证研究结果。