-
题名连续手语识别中的文本纠正和补全方法
- 1
-
-
作者
龙广玉
陈益强
邢云冰
-
机构
湘潭大学计算机学院·网络空间安全学院
中国科学院计算技术研究所
-
出处
《计算机应用》
CSCD
北大核心
2021年第3期694-698,共5页
-
基金
国家重点研发计划项目(2018YFC2002603)。
-
文摘
针对基于视频的连续手语识别的文本结果存在语义模糊、语序混乱的问题,提出一种两步法将连续手语识别结果的手语文本转化为通顺、可懂的汉语文本。第一步,基于自然手语规则以及N元语言模型(N-gram)对连续手语识别的结果进行文本调序;第二步,利用汉语通用量词数据集训练双向长短期记忆(Bi-LSTM)网络模型,以解决手语语法无量词的问题,从而提升语句通顺度。使用绝对准确率和最长正确子序列占比作为文本调序的评价指标,实验结果显示,所提方法的文本调序结果绝对准确率为77.06%,最长正确子序列占比为86.55%,量词补全准确率为97.23%。所提的方法能够有效提升连续手语识别的文本结果的通畅度和可懂度,已成功应用于基于视频的连续手语识别,提升了听障人和健听人的无障碍交流体验。
-
关键词
连续手语识别
N元语言模型
文本调序
双向长短记忆网络
量词补全
-
Keywords
continuous sign language recognition
N-gram language model
text ordering
Bidirectional Long-Term Short-Term Memory(Bi-LSTM)network
quantifier completion
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-