中文错别字规范化校准系统设计

设计了一种中文错别字规范化校准系统,采用帧扫描技术采集中文错别字规范化校准图像,利用边缘信息融合和角点特征检测方法定位图像规范化笔画,提取中文错别字规范化特征点,在机器视觉模式下进行中文错别字规范化校准识别。实验结果表明:研究方法识别能力较高,提高了中文错别字规范化校准的智能性。

CPLM-CSC:基于单字级别预训练语言模型的中文错别字纠正方法

由于汉语语义表达的多样性和复杂性,中文错别字自动纠正目前存在很多挑战。现有的错别字纠正算法的性能普遍不够理想,而且需要大量高质量的语料进行训练。该文提出一种基于预训练语言模型的错别字纠正方法CPLM-CSC,能够显著地提高纠错性能。CPLM-CSC采用基于单字级别预训练语言模型来进行错别字检测,并采用掩字语言模型来进行错别字纠正。为了提高纠正性能,CPLM-CSC采用音近、形近字判断等多种筛选纠正结果的方法,并针对一些典型且特殊的错误,例如"的地得"误用,采取了专门的数据增强方法。CPLM-CSC在SIGHAN 2015的评测数据集上进行了测试,取得了0.654的F1值,其性能优于其他模型。

基于门控特征融合的中文错别字纠正模型

针对在中文错别字纠正中,平等地融合汉字的语义、读音和字形信息进行建模的方法会由于错误的读音或字形信息而影响模型性能的问题,提出了一种基于门控特征融合的中文错别字纠正模型,利用自适应门控来选择性地融合语义、读音和字形信息,提升模型性能并加强模型的可解释性。此外,使用改进的四角号码编码汉字的字形信息,有效地提取了汉字的字形特征,并且基于此扩展了模型预训练时的字形相似混淆集。使用了基于混淆集替换的预训练掩码策略,使模型能有效学习文本错误知识。在公开数据集SIGHAN13、SIGHAN14和SIGHAN15上,所提模型分别取得了78.7%、67.8%和77.7%的纠错F1分数,相比于最优基线模型分别提升了1.5%、1.5%和1.0%。