仿真假体视觉下基于深度图像的手势识别研究

针对仿真假体视觉下彩色图像和深度图像对于手势识别的不同效果,研究使用Kinect获取彩色图像以及深度图像进行手势识别。通过Kinect提取的骨骼信息与提取的深度图像结合,将人体与背景图像分离,对OpenCV库分离后的图像进行降噪,并进行像素化处理。在不同分辨率(32×32,48×48,64×64)下进行彩色图像和深度图像的手势识别实验。实验结果表明,随着分辨率的增加,手势识别的准确率也不断增加。同一分辨率下,深度图像下的手势识别率总体高于彩色图像下的手势识别率,且在32×32分辨率下,二者差异显著。

仿真假体视觉下的寻路任务研究

在现实场景中开展仿真假体视觉下寻路任务研究。受试者佩戴头戴式显示器,由显示器上方的摄像装置获取外界图像,并通过数据传输线连接电脑对实时场景图像进行像素化处理。实验采用标准轮滑桩摆设实验通路,要求受试者佩戴头戴式显示器在预先摆设通路中寻路和判别方向,并对寻路时间、寻路碰撞次数等进行分析研究。结果表明:分辨率为64×64时寻路时间最短;分辨率由32×32增加至48×48,寻路时间减少40%,碰撞次数减少43%;分辨率由48×48增至64×64,寻路时间减少22%,碰撞次数减少31%。随着实验分辨率提升,寻路时间和碰撞次数明显减少。受试者性别和实验时间(白天/晚上)无显著性差异,女性受试者在白天实验效果较好。该研究可为人工视觉假体系统的设计和开发提供前期的理论储备。

仿真假体视觉下神经网络算法的应用研究

尽管已有多种图像处理策略被应用到视觉假体的仿真研究中并提高了被试的识别表现,但在植入电极数量有限的情况下,如何保证盲人获得足够的拓扑信息是视觉假体仍需解决的问题。在此背景下,本文将两种神经网络算法应用到仿真假体视觉中对图像进行前景目标提取和像素化处理,首先利用图像分割数据集训练一个U-net网络得到前景提取后的结果,将其像素化之后与提取前的原图配对,再利用配对后的数据集训练一个Pix2Pix网络从而实现了将彩色图像"翻译"为像素化图像的目标。实验结果表明,与传统图像处理算法相比U-net网络具有更准确的目标提取效果,且经Pix2pix网络"翻译"后的图像也与标签图像更相似,有助于提高假体佩戴者的识别准确率。

仿真假体视觉下动作视频识别研究

为找寻假体视觉下最优的图像处理策略,设计仿真假体视觉下人类动作识别的心理学物理试验。试验使用三种图像处理策略,包括两种传统的边缘提取算法和一种基于感知检测的视频显著性区域检测算法(Saliency-Aware Geodesic,SAG),分别对UCF-101数据库中30个动作视频进行处理,并将处理后的视频匹配不同仿真光幻视模板,将其处理成三种不同分辨率(48×48,64×64,128×128)的动态视频。记录并统计不同分辨率和不同图像处理策略下,被试识别动作识别动作所用的时间和识别准确率。试验结果表明,在三种图像处理策略中,SAG能够帮助被试者在更短的时间内,获得更高的识别准确率。相对于传统的边缘检测算法,SAG能更有效地为视觉假体植入者提供动作信息。

仿真假体视觉下躲避静态障碍的任务研究

为了探讨在虚拟场景中仿真假体视觉下躲避静态障碍时的情况,文中利用Unity游戏引擎搭建静态障碍物的虚拟场景,通过着色器(Shader)屏幕后处理进行像素化,在分辨率为48×48像素情况下,利用被试操作键盘和鼠标控制软件内的玩家(Player)完成相应避障任务。选取25名被试者分别进行像素点缺失、像素点大小、高对比度等一系列的避障实验,任务过程中记录任务完成时间、跳失误、碰撞、掉出等,并对数据进行分析。结果表明,所有失误中跳失误发生次数最多,其次是碰撞。在正常条件下,提高对比度和像素点大小对减少失误有帮助;在像素点缺失的情况下,提高像素点的大小能够帮助被试躲避障碍;同时提高对比度和像素点大小避障效果最好。被试在假体视觉的环境中不能准确判断自己到障碍物之间的距离,距离过远或过近都会造成避障失误,可通过提高障碍物和背景的对比度以及光幻视点大小减少失误。文中研究可为人工视觉假体系统的设计和开发提供前期的理论储备。

仿真假体视觉下的步态识别研究

为了探究假体视觉下借助人的运动步态这一生物特征进行身份识别可行性,设计了仿真假体视觉下的心理物理学实验研究分辨率、运动视角及性别对识别结果的影响。本研究中选取CASIA-B步态数据库中的16名行人(8男、8女)的三个视角(0°、54°、90°)的视频,使用目标检测等算法提取和优化行人运动前景,并处理为三种分辨率下(32×24、48×36、64×48)的像素化视频。记录20名被试(10男、10女)的识别准确率和正确识别时间。实验结果表明,仿真假体视觉下通过步态信息进行身份识别是可行的,并且随着分辨率的提高,识别准确率可提升至91.88±8.39%。在90°视角下的识别速度和识别准确率最优(P<0.05)。同时被试性别与行人性别对识别结果不具显著性差异。

Improved Algorithm of Histogram Equalization and Its Actualization

A new improved algorithm of histogram equalization was discussed and actualized by analyzing the traditional algorithm. This improved algorithm has better effect than the traditional one, especially it is used to process poor quality images.