基于深度学习的语法纠错技术研究进展

语法纠错(GEC)旨在自动检测并纠正文本中的语法错误,从而提升文本的质量和可读性。文章首先总结了语法纠错技术的研究进展和主要研究成果;其次针对当前纠错任务存在的泛化能力差、高质量数据缺乏、语法错误复杂、运行速度慢等问题,分析了基于当前主流深度学习模型Transformer的优化改进方案;最后指出了当前语法纠错技术面临的挑战及可行的研究方向。

基于知识及流利度提升的中文语法纠错模型

语法错误纠正(grammatical error correction,GEC)旨在将包含语法错误的句子纠正为正确的句子。目前语法错误纠正研究主要基于Transformer模型,但由于模型参数规模大,中文GEC任务语料不足,Transformer无法得到充分训练来学习文本中足够的语义信息。提出了基于知识及流利度提升策略的中文GEC模型,将MacBERT预训练模型作为外部知识来源,并利用流利度提升策略缓解GEC模型单轮推理纠错不完全的局限。为了验证所提出的GEC模型的有效性,在NLPCC 2018中文GEC共享任务数据集上进行了大量实验,其性能优于NLPCC 2018 GEC共享任务中开发的最佳模型。