面向桌面交互场景的双目深度测量方法

基于视觉的虚拟现实交互方式在桌面书写应用场景中尚未有针对性的解决方案,书写交互中精细动作准确识别的实现,需要一种全新的高精度手笔联合三维识别技术,其中深度准确度是影响三维识别精度的重要因素。为此提出一种高精度双目深度测量方法,该方法针对书写交互采用了高分辨率、近距离的图像对作为输入,并在算法上提出全局与局部重要信息交叉融合的思想以提升速度与精度,减少计算成本。算法使用区域检测模块提取图像对中的手部和笔尖关键区域以重要程度分尺度输入;并且引入区域特征金字塔结构结合多尺度语义信息;同时利用视差级联模块缩小匹配范围,提高网络实时性。实验证明,提出的深度测量方法在手部和笔尖交互区域精度高,实时性好,能够有效辅助提高手笔联合三维识别精度以提供更好的虚拟书写交互体验,具有广泛的应用前景。

深度学习屈光检测方法研究

屈光不正是一种非常常见且对视功能发育有严重危害的眼科问题。准确与方便的屈光检测技术,对于及时发现屈光不正问题以及采取相应措施进行干预具有非常重要的意义。目前的屈光筛查设备虽然能较快进行屈光检测,但主要存在两个问题:检测准确度较低,对被测者配合度要求较高。因此,提出一种新的屈光检测方法,此方法使用基于偏心摄影验光原理的光学系统获取人脸面部近红外图像,使用图像处理技术对面部近红外图像进行处理,得到左右瞳孔图像和瞳孔位置信息,使用提出的结合了深度可分离卷积和SE模块的混合数据多输入神经网络模型进行训练与屈光度的计算。与传统偏心摄影验光原理的屈光检测方法相比,此方法有望随着数据集的扩增而达到更高的准确度,并且此方法将瞳孔位置信息作为模型的输入,可以解决传统算法对被测者配合度要求较高的问题。该研究是对屈光检测新方法的一种有益探索,使用此方法有利于屈光筛查更便利地进行,为实现非接触自助式的屈光筛查提供基础。

基于超声成像的眼压非接触测量方法

目的目前市场上主流眼压测量设备以接触式和刺激性激励为主,使用过程中极易给患者带来不适,更有甚者会导致角膜感染。为了解决这一问题,提出一种超声成像眼压非接触式测量方法。方法对该方法进行有限元分析与实验验证,得到角膜形变仿真计算结果,制作模拟眼并搭建眼压测量实验系统,建立眼压、角膜形变与压力的数学模型,并对该模型进行准确性和重复性验证。结果在某一眼压下,角膜的压平直径和顶点位移分别与压力存在幂函数与线性关系;在恒定压力下,压平直径和顶点位移均与眼压存在幂函数关系,可作为眼压测量指标。通过该方法测得的眼压平均相对误差在8%以下,相对平均偏差在9%以下,重测信度均大于0.9。结论该方法测量结果准确,重复性较好。研究结果为眼压的非接触测量提供一种有效途径,具有较好的应用前景。

基于深度学习的交互笔关键点估计研究

虚拟现实技术应用领域广泛,但现有交互方式不能满足使用者精细化操作的需求。通过交互笔可实现三维空间的精确输入,提升生产力效率。设计基于单目RGB图片的两阶段交互笔关键点估计模型PKPD-Net。通过CBAM-SHN网络得到二维关键点信息,利用笔的二维姿态特征进一步回归出关键点三维位置信息。该模型使用CBAM模块改进融合方式、基于Offset的关键点亚像素定位、辅助手部关键点预测等方法,实现高精度的笔上关键点三维估计,为通过交互笔进行精细化操作提供准确的位置信息。在大规模数据集上进行实验和验证,结果表明,相较于Minimal-hand与HOPE-Net模型,该模型预测关键点的mean_EPE分别降低0.882和0.710 mm,PSF@4分别提升31.38和32.31个百分点。最后,为探索产业级应用,结合PKPD-Net进行应用开发,通过时序关联实现操作轨迹的复原。

基于ADEU-Net分割网络的瞳孔精确分割方法

当前通过图像处理的方法来进行瞳孔分割,导致鲁棒性不高、分割精度低以及运算量大无法满足实时性要求的问题,为此提出一种基于深度学习的人眼瞳孔精确分割方法。该方法采用基于ADEU-Net的快速人眼语义分割网络来获取瞳孔区域,实现对瞳孔的精准分割;该网络创新性地提出膨胀卷积与普通卷积双线并行的方式,在扩大感受野的同时可提升局部精细化能力,并且引入了注意力机制,以充分提取语义特征。实验结果表明,该瞳孔分割方法通过端到端学习,PA相对于U-Net、传统图像处理算法分别提高了5、35个百分点;均交并比MIoU达到94%,明显高于U-Net、传统图像处理算法90%和57%,同时保证了83 frame/s的高分割速度。

深度学习红外成像睑板腺分割处理系统

为了更好地辅助医生对干眼症的诊断,提高眼科医生对睑板腺病情的辨识能力,提出了一种基于Mobile-UNet网络的睑板腺图像分割及增强方法。首先,将Mobile-Net作为U-Net的编码部分进行下采样,提取特征后将其与解码器中的特征融合来指导图像分割。然后,将分割出的睑板腺区域单独进行图像增强以辅助医生进行干眼症病情的判断,避免非病灶区域的干扰。最后,通过对实验采集100个患者、200张睑板腺图像进行语义分割网络的训练和验证,并且使用清晰度评价指标来验证睑板腺增强效果。实验结果表明,该研究提出的方法相似系数稳定在92.71%,图像清晰度指标均优于市面上同类干眼检测仪器。

基于夏克-哈特曼波前检测的无透镜屈光测量系统

为了解决现有电脑验光仪和视力筛查仪体积庞大、价格昂贵的问题,设计并搭建了一套基于哈特曼波前检测原理的小型无透镜屈光测量系统。首先,对测量原理进行了详细介绍;接着,利用Zemax软件对图像采集光路进行模拟,并分析了实际测量屈光度与仪器-人眼距离的函数关系;最后,成功搭建了试验样机,并通过对中国计量科学研究院模拟眼进行屈光测量来验证函数关系的正确性及测量结果的准确性。实验结果表明该系统能有效地对-10~+10 D范围内的模拟眼进行屈光测量,测量结果显示:球镜度重复测量误差最高不超过0.20 D,变异系数不超过3%;柱镜度重复测量误差最高不超过0.25 D,变异系数不超过9%。此外,该系统结构简单且成本低廉。在满足测量结果准确性、稳定性要求的前提下,该系统更适用于需要仪器小型化的场合,具有广阔的应用前景。