基于Kinect的人手姿态混合跟踪方法

为了实现在无标记的情况下不对称地跟踪人手及其所有关节的位置和姿态,提出一种软硬件结合的混合跟踪计算框架,同时使用电磁跟踪器和无标记人手关节姿态分析算法提出基于CUDA的异步并行粒子群优化(PSO)加速方法.首先通过跟踪器测量人手手腕的位置姿态,使用Kinect数据作为输入,在三空间(双颜色空间和深度空间)下进行手部区域分割;然后使用PSO方法将手关节的23个自由度的跟踪问题转化为求解一个优化问题,使用不对称策略来提高部分手指的跟踪性能,寻找给定参数空间内能够最小化观测值和估计值之间偏差的手模型参数解.该方法不需要进行任何标记,可以对手部关节姿态进行连续跟踪,实验结果表明,其在实验的硬件平台上可以达到12帧/s的运行速度,平均误差稳定在10 mm以内.

一种无标记点人脸表情捕捉与重现算法

提出了一种无标记点的人脸表情捕捉方法.首先根据ASM(Active Shape Model)人脸特征点生成了覆盖人脸85%面部特征的人脸均匀网格模型;其次,基于此人脸模型提出了一种表情捕捉方法,使用光流跟踪特征点的位移变化并辅以粒子滤波稳定其跟踪结果,以特征点的位移变化驱动网格整体变化,作为网格跟踪的初始值,使用网格的形变算法作为网格的驱动方式.最后,以捕捉到的表情变化数据驱动不同的人脸模型,根据模型的维数不同使用不同的驱动方法来实现表情动画重现,实验结果表明,提出的算法能很好地捕捉人脸表情,将捕捉到的表情映射到二维卡通人脸和三维虚拟人脸模型都能取得较好的动画效果.

基于图像结构转换和demons配准的无标记BEV肿瘤跟踪算法

目的提出可应用于图像质量差、多叶准直器(MLC)遮挡和非刚性变形的兆伏级图像的无标记射束方向观(BEV)肿瘤放疗跟踪算法。方法采用窗口模板匹配、图像结构转换和demons非刚性配准方法,解决兆伏级图像中的配准问题。在模体中生成质量保证(QA)计划并在加速器上手动设置治疗偏移后执行,收集治疗过程中的682幅电子射野影像装置(EPID)图像作为固定图像;同时采集计划系统中对应射野角度的数字重建影像(DRR)图作为浮动图像,验证算法的准确性。此外收集21例肺部肿瘤治疗患者的共533对图像进行肿瘤跟踪研究,提供治疗过程中肿瘤位置变化定量结果。图像相似度用于跟踪结果的第三方验证。结果算法可应对不同程度(10%~80%)的图像缺失,模体验证中86.8%的跟踪误差在3 mm以下,80%在2 mm以下。配准前后归一化互信息(NMI)变化为(1.182±0.026)~(1.202±0.027)(P<0.005),豪斯多夫距离(HD)变化为(57.767±6.474)~(56.664±6.733)(P<0.005)。病例结果以平移为主(-6.0~6.2 mm),但非刚性形变仍存在。配准前后NMI变化为(1.216±0.031)~(1.225±0.031)(P<0.005),HD变化为(46.384±7.698)~(45.691±8.089)(P<0.005)。结论本文算法可应对不同程度图像缺失,且在数据缺失图像的非刚性配准中表现较好,适用于不同放疗技术,为多模态、部分数据及图像质量较差的兆伏级图像处理提供了参考思路。

基于深度传感器的远距增强现实注册技术研究

通过标定摄像头和Kinect传感器,结合总体最小误差算法,提出了基于深度传感器的跟踪注册技术,以实现远距离无标记的跟踪注册.实验验证了虚拟物体以不同距离在近景模式注册和远景模式注册中叠加的效果.实验结果表明该技术比现有跟踪注册技术方便,且更符合远距离增强现实应用,具有很强的应用价值.

并行化退火粒子滤波

本文提出一种基于异构计算的并行化退火粒子滤波方法(P-APF),使用OpenCL框架实现了实时无标记运动跟踪任务。退火粒子滤波过程被分解成若干具有相应粒度的子任务。根据相应的并行度,每个计算任务被分配到标准或附属处理器进行处理,以充分利用OpenCL框架的异构计算能力。提出一种任务时延隐藏策略进一步减少时间消耗。在不同人体运动数据库的实验中,P-APF能在不降低跟踪精度的前提下实现实时处理。时间消耗随着粒子数或视角数目的增加基本保持不变,平均加速比为106。

基于VoxelMorph无监督缺失图像配准的无标记射束方向观肿瘤跟踪算法

目的基于机器学习提出可应用于低图像质量、多叶准直器(MLC)遮挡和非刚性变形兆伏级(MV)图像的无标记射束方向观(BEV)肿瘤放疗跟踪算法。方法采用窗口模板匹配法和Voxelmorph端到端无监督网络,处理MV图像中的配准问题。使用动态胸部模体,验证肿瘤跟踪算法的准确性。将模体质量保证(QA)计划在加速器上手动设置治疗偏移后执行,收集治疗过程中的682幅电子射野影像系统(EPID)图像作为固定图像;同时采集计划系统中对应射野角度的数字影像重建(DRR)图作为浮动图像,进行靶区跟踪研究。收集21例肺部肿瘤放疗的533对EPID和DRR图像进行肿瘤跟踪研究,提供治疗过程中肿瘤位置变化定量结果。图像相似度用于算法的第三方验证。结果算法可应对不同程度(10%~80%)的图像缺失,且对数据缺失图像的非刚性配准表现较好。模体验证中86.8%的跟踪误差<3 mm,<2 mm的比例约80%作用。配准后标准化互信息(NMI)由1.18±0.02提高到1.20±0.02(t=-6.78,P=0.001)。临床病例肿瘤运动以平移为主,平均位移3.78 mm,最大位移可达7.46 mm。配准结果显示存在非刚性形变,配准后NMI由1.21±0.03增至到1.22±0.03(t=-2.91,P=0.001)。结论肿瘤跟踪算法跟踪精度可靠且鲁棒性好,可用于无创、实时、无额外设备和辐射剂量的肿瘤跟踪。