基于音系学模型的手语理解

该文试图模拟人脑处理手势信号的过程,设计了一个混合的深层神经网络模型来解决基于音系学模型的手语理解问题,即手语音韵信息到文本转换的问题。为此该文首先综合了手语语言学里同时性和序列性这两个观点的长处,提出了一个手语音系学的改进模型,并针对难点设计了基于音系学模型的手语理解算法。直接从语言学的音韵特征推断手语文本,相比从视觉特征推断出手语文本是一个很大的飞跃。实验验证了该认知计算技术的有效性,为实现类人智能奠定了技术基础。

手语语音加工及其神经机制研究述评

语音加工在言语理解与产出中具有重要的作用。手语是基于视觉-手势模态的自然语言,也具有语音结构,但与口语的语音结构之间有很大的差异。本文总结和分析了近年来有关手语语音加工的研究,发现手语加工中存在基于音韵参数的语音信息激活和使用,且手语的语音加工神经机制与口语具有相似之处,尤其在双侧颞叶和左侧额下回等部分脑区存在重合,同时在左侧枕叶和缘上回等脑区具有一定的特异性。最后,文章从语音加工单元和手语语种等方面展望了未来的研究方向。