基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词(SLVW)的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%。

聋人手语视觉表象生成能力的实验研究

通过视觉表象判断实验,对聋手语使用者和听力正常人两类被试视觉表象生成的能力进行了比较。实验发现:与听力正常的人相比,聋手语使用者学习和记忆大写字母的时间短于听力正常的被试,并且两组被试记忆复杂字母的时间都较长;聋被试和听力正常被试采用了相同的字母表征方式。但是,习得手语的年龄对聋手语者生成表象的能力没有明显的影响。

一个可视化集成图象处理环境

提出了图象处理的一个可视化集成环境，提供了图象和图象分析的可视化以及图象处理算法的集成。在此基础上研究图象处理算法或构造图象理解系统将大大提高工作效率。

视觉批评何以可能——图像时代文学阐释的视觉转向与审美创构

随着现代社会图像表征的愈渐成熟与主流,图像对文学的挤压造成了现代意义上的"图—文"张力,也使得传统的文学批评场域发生了与图像时代相匹配的视觉转向,孕化出视觉批评这一新的文本阐释形态。视觉批评在延续传统文学批评主体特征的同时对文学母本的意义延展、审美内涵以及阐释者的主体身份都产生颠覆性的影响,营造出文学批评视觉化的现代景观,这一批评范式的形成得益于速度社会、消费意识乃至日常生活审美化等多元文化因素的现实滋养,而其本身的图像主导机制却又使得这一批评范式显露出难以回避的表意缺陷。

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。

传播方式对文化传播的影响

语言符号的变更是引发传媒文化嬗变的直接因素 .随着文化传播方式的不断演进 ,视觉文化正成为当代文化的主导形态 .但要深入地理解当代文化还应从“镜像语言”开始 .“镜像语言”作为当代文化的载体 ,以其特有的优势将当代文化带入视觉世界 。

改进的多特征融合手语字母识别方法

为了实现手语视频中手语字母的准确识别,提出一种基于DI_CamShift(depth image CamShift)和手语视觉单词(sign language visual word,SLVW)特征结合的算法.首先,采用Kinect获取手语字母手势视频及其深度信息;其次,通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;再次,使用基于深度积分图像的大津法(OTSU)分割手势并提取其尺寸不变特征转换(scale invariant feature transform,SIFT)特征和Gabor特征,并通过典型相关分析(canonical correlation analysis,CCA)方法进行特征融合;最后,构建SLVW词包并用支持向量机(support vector machine,SVM)进行识别,单个手语字母最高识别率为99.89%,平均识别率为96.34%.

空间介词表征与视觉表象之间的相关性

英语介词在表征空间关系时起着重要的作用,为了探究空间语言表征与视觉表象之间的相关性,本文以空间介词在封闭式的空间形态下对视觉感应到的空间关系的表征形式进行了实证研究。结果显示,某些空间介词对空间关系的表征在原形区域内适用度较高,并在结构上与视觉空间显现出一定的相关性,但是当表征的范围扩展时,空间介词只是表征了一个大致的空间关系和粗略的方位。因此,视觉空间结构在一定程度上主导空间语言表征的构建。

听障大学生词汇识别过程的特异性:语言经验和阅读能力的影响

听障者词汇识别过程是否表现出特异性一直是研究者关注的焦点问题,然而当前观点并不一致。本研究采用语义相关性判断任务,通过两个实验探讨语言经验和阅读能力对听障大学生词汇识别中字形、语音和手语表征激活的影响。实验1比较不同语言经验和阅读能力的听障大学生在形似干扰字、同音干扰字和无关干扰字条件下的表现,实验2比较他们在手语相关和无关条件下的表现。实验1结果显示,在正确率和反应时指标上,不同语言经验和阅读能力的听障大学生表现出相似的字形干扰效应(与无关干扰字相比,形似干扰字条件下正确率更低、反应时更长),均未出现语音干扰效应。实验2结果显示,在正确率指标上,当控制听障大学生阅读能力时,阅读能力高的手语组表现出显著的手语干扰效应(与无关条件相比,手语相关条件下正确率更低),阅读能力高的口语组未出现手语干扰效应。当控制听障大学生语言经验,阅读能力高的手语组和阅读能力低的手语组表现出相似的手语干扰效应。综合两个实验的结果可以发现,语言经验影响听障大学生的词汇表征,阅读能力不影响听障大学生的词汇表征。在此基础上,本研究尝试提出听障大学生中文词汇识别的认知加工模型。

图像信息对句子语义理解与表示的有效性验证与分析

近年来,图像文本建模研究已经成为自然语言处理领域一个重要的研究方向.图像常被用于增强句子的语义理解与表示.然而也有研究人员对图像信息用于句子语义理解的必要性提出质疑,原因是文本本身就能够提供强有力的先验知识,帮助模型取得非常好的效果;甚至在不使用图像的条件下就能得出正确的答案.因此研究图像文本建模需要首先回答一个问题:图像是否有助于句子语义的理解与表示?为此,本文选择一个典型的不包含图像的自然语言语义理解任务:自然语言推理,并将图像信息引入到该任务中用于验证图像信息的有效性.由于自然语言推理任务是一个单一的自然语言任务,在数据标注过程中没有考虑图像信息,因此选择该任务能够更客观地分析出图像信息对句子语义理解与表示的影响.具体而言,本文提出一种通用的即插即用框架(general plug and play framework)用于图像信息的整合.基于该框架,本文选择目前最先进的五个自然语言推理模型,对比分析这些模型在使用图像信息前后的表现,以及使用不同图像处理模型与不同图像设置时的表现.最后,本文在一个大规模公开数据集上进行了大量实验,实验结果证实图像作为额外知识,确实有助于句子语义的理解与表示.此外,还证实了不同的图像处理模型和使用方法对整个模型的表现也会造成不同的影响.

汉字多元视角取象特征分析:基于手语与汉字的比较

汉字与手语是人类传递信息的载体,同属于视觉符号系统,都具有空间性特质。汉字是一种历史悠久且具有表意特征的象形文字,体现出其独特的观物取象特征。手语是聋人表达思想、进行交际的主要工具,是一种形式和意义结合的视觉符号系统,所体现的多元视角下的取象特征比汉字更直接、更明了。基于手语与汉字的视觉符号性和空间性等共性特征,文本将手语与汉字的取象视角进行比较,使汉字中积淀的观物取象活动凸显出来,指出汉字具有平视、仰视、俯视、流观、复合等多元视角取象特征,并认识到汉字多元视角取象特征的形成与人类在自然界中所处的位置、观物取象的视觉经验、视觉符号的创造、表达意义的需要等因素直接相关。利用手语所负载的信息可以研究更多的汉字问题,为汉字研究提供一种新的视角。

听障生平面设计专业软件教学方法初探——以天津城市职业学院为例

听障人是听力因先天遗传或后天人为因素而受损的残疾人,也叫听力障碍者,简称听障人。听力严重受损的同学并不能参与普通学习,任课的教师不能采用一般的教学手段,导致教学过程中存有众多困难和障碍。在高职教育中,平面设计软件教学由于在教学过程中更多地体现出实践性和形象性,相比其他专业来说,更适合听障生作为一门专业技能来学习。文本根据听障生的学习障碍和学习特点,对其接受高等学历平面设计软件教学方法做初步的研究。