适应手脸遮挡手语视频的手势检测算法

针对手脸遮挡条件下的手语视频手势检测问题,提出一种基于力场(force field)转换的手势检测算法。首先分别计算手脸遮挡帧和纯脸部帧的力场图像,然后将力场图像分块并统计各分块直方图特征,再将相同空间位置的分块直方图对应相减,得到各分块直方图灰度分量差,最后将各分块直方图灰度分量差与灰度阈值进行比较获得手部位置。实验证明该算法能够实时进行手脸遮挡条件下的手势检测。

手语识别、翻译与生成综述

手语研究是典型的多领域交叉研究课题,涉及计算机视觉、自然语言处理、跨媒体计算、人机交互等多个方向,主要包括离散手语识别、连续手语翻译和手语视频生成。手语识别与翻译旨在将手语视频转换成文本词汇或语句,而手语生成是根据口语或文本语句合成手语视频。换言之,手语识别翻译与手语生成可视为互逆过程。文中综述了手语研究的最新进展,介绍了研究的背景现状和面临的挑战;回顾了手语识别、翻译和生成任务的典型方法和前沿研究;并结合当前方法中存在的问题,对手语研究的未来发展方向进行了展望。

基于量化步长的视频编码能量率失真模型

针对移动手语视频通信中存在的功率和码率约束问题,提出一种能量感知的视频编码能量率失真(P-R-D)模型。在H.264视频编码软件平台JM8.6上进行模型参数选择,确定以量化步长作为模型参数。根据移动设备的电池剩余能量划分3个能量状态,在不同状态下分别建立相应的功耗、码率及失真模型。实验结果表明,对于典型的手语视频,P-R-D模型能够准确反映视频编码功耗、码率和质量之间的关系,其中功耗模型和码率模型精确度较高,最大预测误差仅为-1.1795%和-7.9268%。

《中国手语电子词典》的设计及实现

介绍了《中国手语电子词典》系统主要功能、硬件组成和主要特点，分析了其关键技术。

多优先级感兴趣区H.264计算资源分配

移动设备有限的电池能量是实时手语视频通信所面临的关键制约因素。为此,提出多优先级感兴趣区的H.264计算资源分配方法。从原始手语视频中快速检测出面部、双手和背景区域,依据视觉重要性的不同,给面部和双手区域分配较多的计算资源,给背景区域分配较少的计算资源。实验结果表明,该方法在保证手语视频感兴趣区编码质量的同时,可以大幅降低编码器的计算复杂度,减少电池能量消耗,延长能量受限设备的工作时间。

基于嘴部特征的聋哑人情感识别方法

针对聋哑人在手语交流过程中,手部经常会遮挡面部五官,无法使用针对健听人的基于五官特征的情感计算方法来识别聋哑人的情感状态这一难题,提出一种聋哑人情感识别方法.该方法首先利用肤色信息从聋哑人面部图像中提取出嘴部区域,然后对提取到的嘴部区域进行腐蚀与膨胀运算,接着计算出嘴部区域特征值,并与训练样本中不同情感类型所对应的嘴部区域特征值进行比较,从而确定出聋哑人情感.实验结果表明,本文方法能快速准确地进行聋哑人情感判断.

Information Expression Oriented toward the Hearing-Impaired Based on Sign Language Video Synthesis

Among the human users of the Internet of Things,the hearing-impaired is a special group of people for whom normal information expression forms,such as voice and video are unaccessible,and most of them have some difficulty in understanding information in text form.The hearing-impaired are accustomed to receiving information expressed in sign language.For this situation,a new information expression form for the Internet of Things oriented toward the hearing-impaired is proposed in this paper,and the new expression is based on sign language video synthesis.Under the sign synthesis frame,three modules are necessary:constructing database,searching for appropriate sign language video units and transition units,and generating interpolated frames.With this method,text information could be transformed into sign language expression for the hearing-impaired.