中文纠错任务为例的数据集增强质量评价方法

数据增强被认为是一种有效提升模型效果的方案。但是在选取生成的数据时,需考虑固有的数据特征和相应的任务关联性。针对这一问题,以中文纠错任务场景为例,提出了一种可用于数据集增强质量的评价方法。该方法使用对比学习优化后的预训练模型提取数据集的特征向量,提出互覆盖度、总分散度、自支撑度等三个基本评价指标,并给出一个综合性的数据集质量融合指标。在四种数据增强方法、两个中文纠错数据集和三个中文纠错模型上的实验分析结果表明,上述评价方法能够独立于测试集性能检验方法,为不同增强数据集的选用提供重要依据。

基于搜索引擎日志的中文纠错方法研究

针对用户使用搜索引擎输入关键词查询信息时,由于输入法的原因或者不小心输入错误关键词等,致使搜索结果不符合用户预期的问题,提出基于搜索引擎日志的中文纠错方法。首先对用户网络日志展开研究,对数据进行预处理,将用户常见错误分为两大类:一类为拼音引起的错误,针对该类错误,参考并改进了基于拼音索引的中文模糊匹配算法进行纠错;另一类为多字、少字、异位及别字引起的错误,针对该类错误,设计了模糊匹配方法结合最小编辑距离方法进行纠错。经过实验验证,证明了该纠错方法的有效性,该方法能够一定程度上提升用户体验,满足实际工程需要。

融合MacBERT和Kenlm的中文纠错方法

中文纠错属于自然语言处理的基础任务,考虑到现有方法纠错性能偏低,无法满足实际的纠错需求,提出了一种融合MacBERT和Kenlm的中文纠错方法。在公开数据集上的实验结果表明,该方法的精确率、召回率和F1值分别达到了78.2%、72.7%、75.3%。尤其是F1值比基线方法提升了3.6个百分点,充分证明了所提方法的有效性。

中文文本纠错软件测试用例的选择生成方法

针对目前尚无有效的中文文本纠错软件测试用例生成方法的情况,为了服务于软件纠错性能的测量并为软件提供优化方向,设计了一种面向多用户的、工程化的中文文本纠错软件测试用例选择生成方法(SGMT-CCS)。定义了两种不同的可供用户选择的用例评判标准:错误数量密度和错误种类密度。设计了三个模块:测试用例自动化生成模块、测试用例选择模块以及测试用例优先级排序模块。在SGMT-CCS中,用户可以:1)在测试用例自动化生成的过程中自定义错误最小间隔和用例集大小;2)在测试用例选择的过程中自定义错误最小间隔和期望值;3)在测试用例选择和优先级排序的过程中选择不同的用例评判标准进行自定义操作,以适应不同数据集的要求。实验结果表明,SGMT-CCS能够在较短的时间内获得有效的测试用例,选择模块实验在模拟的需求情况下都能满足用户自定义目标,优先级排序模块实验验证了相较于排序前,在不同评判标准下的不同时间段内都能有效提高测试效率。

基于知识及流利度提升的中文语法纠错模型

语法错误纠正(grammatical error correction,GEC)旨在将包含语法错误的句子纠正为正确的句子。目前语法错误纠正研究主要基于Transformer模型,但由于模型参数规模大,中文GEC任务语料不足,Transformer无法得到充分训练来学习文本中足够的语义信息。提出了基于知识及流利度提升策略的中文GEC模型,将MacBERT预训练模型作为外部知识来源,并利用流利度提升策略缓解GEC模型单轮推理纠错不完全的局限。为了验证所提出的GEC模型的有效性,在NLPCC 2018中文GEC共享任务数据集上进行了大量实验,其性能优于NLPCC 2018 GEC共享任务中开发的最佳模型。

一种面向中文拼写纠错的自监督预训练方法

预训练语言模型BERT/RoBERTa/MacBERT等虽然能够通过预训练任务中的掩码语言模型(MLM)很好地学习字和词的语法、语义及上下文特征,但其缺乏拼写错误识别及纠正能力,且在中文拼写纠错(CSC)任务中面临预训练与下游任务微调目标不一致的问题。为了进一步提升BERT/RoBERTa/MacBERT等模型的拼写错误识别及纠正能力,提出一种面向中文拼写纠错的自监督预训练方法MASC。MASC在MLM的基础上将对被掩码字的正确值预测转换成对拼写错误字的识别和纠正。首先,MASC将MLM对字的掩码扩展为相应的全词掩码,目的是提升BERT对单词级别的语义表征学习能力;接着,利用混淆集从音调相同、音调相近和字形相近等方面对MLM中的被掩码字进行替换,并将MLM的训练目标更改为识别正确的字,从而增强了BERT的拼写错误识别及纠正能力;最后,在3个公开的CSC语料集sighan13、sighan14和sighan15上的实验结果表明,MASC可在不改变BERT/RoBERTa/MacBERT等模型结构的前提下进一步提升它们在下游CSC任务中的效果,并且消融实验也证明了全词掩码、音调和字形等信息的重要性。

基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法

中文拼写纠错是一项检测和纠正文本中拼写错误的任务。大多数中文拼写错误是在语义、读音或字形上相似的字符被误用,因此常见的做法是对不同模态提取特征进行建模。但将不同特征直接融合或是利用固定权重进行求和,使得不同模态信息之间的重要性关系被忽略以及模型在识别错误时会出现偏差,阻止了模型以有效的方式学习。为此,提出了一种新的模型以改善这个问题,称为基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法。该方法使用文本序列错误概率作为动态权重、中文常见拼写错误概率作为固定权重,对语义、读音和字形信息进行了高效融合。模型能够合理控制不同模态信息流入混合模态表示,更加针对错误发生处进行学习。在SIGHAN基准上进行的实验表明,所提模型的各项评估分数在不同数据集上均有提升,验证了该算法的可行性。

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面,而通用的预训练语言模型只考虑文本的语义信息,忽略了中文的拼音和字形特征.最新的中文拼写纠错(Chinese Spelling Correction,CSC)方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征,但和直接微调预训练模型相比,改进的模型没有显著提高模型的性能,因为由小规模拼写任务语料训练的拼音和字形特征,和预训练模型获取的丰富语义特征相比,存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上,由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段,基于ChineseBert的CSC方法不仅无须构建额外的网络,还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题,进一步提出SepSpell方法.首先利用探测网络检测可能错误的字符,再对可能错误的字符保留拼音特征和字形特征,掩码对应的语义信息进行预测,这样能降低预测过程中错误字符带来的干扰,更好地处理连续错误问题.在三个官方评测数据集上进行评估,提出的两个方法都取得了非常不错的结果.

DCsR:一种面向中文文本的集成式纠错框架

中文文本纠错技术在自然语言处理中有着非常重要的应用。针对书写灵活多变的中文文本,现有的纠错模型无法覆盖多种错误类型且存在从候选集合TOPK中挑选TOP1时出错概率极大的问题。提出了一种面向中文文本的集成式纠错框架——DCsR,摒弃以往建立在已知错误类型的假设上利用单一模型进行纠错的解决方案,根据不同场景选择添加多种表现优异的纠错模型分别进行纠错再集成召回更全面的候选集,同时根据自定义特征的重要程度建立了一个多策略、可拓展的候选排序算法,以挑选更具有公信力的修正结果。DCsR框架有效地解决了模型的偏向性问题,进一步全面提升了对中文文本拼写纠错的能力。实验结果表明,在公开数据集SIGHAN15上,对比现在的主流纠错模型,使用DCsR框架进行纠错的F1值比表现最优的单模型纠错高出了3.93%,进一步提升了对中文文本的纠错能力。针对CGED2020进行的消融实验也表明了DCsR框架的有效性。

基于对比优化的多输入融合拼写纠错模型

文本编辑工作中,中文拼写纠错必不可少.现有中文拼写纠错模型大多为单输入模型,语义信息和纠错结果存在局限性.因此,文中提出基于对比优化的多输入融合拼写纠错模型,包含多输入语义学习阶段和对比学习驱动的语义融合纠错阶段.第一阶段集成多个单模型的初步纠错结果,为语义融合提供充分的互补语义信息.第二阶段基于对比学习方法优化多个互补的句子语义,避免模型过度纠正句子,同时融合多个互补语义对错误句子进行再纠错,改善模型纠错结果的局限性.在SIGHAN13、SIGHAN14、SIGHAN15数据集上的实验表明文中方法可有效提升纠错性能.

基于局部语义增强的中文拼写纠错方法

针对当前主流的中文拼写纠错模型对文本局部上下文特征学习不足的问题,该文提出基于局部语义特征增强的改进思路:在自注意力计算单元中添加高斯分布的偏置矩阵,改变注意力权重分布,使得纠错模型可以强化对当前位置相邻文本特征的学习;而在计算注意力得分时减少当前位置的权重,可以进一步提升学习局部信息的效果。实验表明,该文提出的改进方法对中文拼写纠错任务的精确率、召回率和F1值均有提升,其中F1值与过往最好成果相比可提升1.74%。

基于深度学习的语义级中文自动校对方法

中文语法纠错任务是检查和纠正句子中的语法错误,相对于中文拼写错误纠正,中文语法错误纠正面对的错误不仅包括同音字和同形字的错误,还包括多字和少字的情况。本文通过大量的实验验证不同方法的优缺点,基于规则的方法需要消耗大量的人力来构造规则,而基于传统机器学习的方法面临特征提取能力不足的缺点,基于深度学习的方法是目前语法纠错的主要方法,因为语法纠错的文本存在不确定性,所以纠错的结果可能存在多种可能,因此Seq2Seq和预训练语言模型目前取得了较好的效果。

搜索引擎的一种在线中文查询纠错方法

该文主要解决中文搜索引擎的查询纠错问题。错误的查询,已经偏离用户真实的搜索意图时,搜索质量很差,甚至导致搜索结果数为零。为此该文提出了一种服务于实际搜索引擎,较为完整的查询纠错方案。该文重点描述了纠错查询候选生成、纠错查询候选评价、以及基于核函数,挑选最优纠错查询候选等内容。通过在开放测试集上的准确率/召回率验证,以及在搜索引擎中实际的DCG评测,该文的方案都取得了较好的效果。

基于BART噪声器的中文语法纠错模型

在中文语法纠错中,基于神经机器翻译的方法被广泛应用,该方法在训练过程中需要大量的标注数据才能保障性能,但中文语法纠错的标注数据较难获取。针对标注数据有限导致中文语法纠错系统性能不佳问题,提出一种基于BART噪声器的中文语法纠错模型——BN-CGECM。首先,为了加快模型的收敛,使用基于BERT的中文预训练语言模型对BN-CGECM的编码器参数进行初始化;其次,在训练过程中,通过BART噪声器对输入样本引入文本噪声,自动生成更多样的含噪文本用于模型训练,从而缓解标注数据有限的问题。在NLPCC 2018数据集上的实验结果表明,所提模型的F0.5值比有道开发的中文语法纠错系统(YouDao)提高7.14个百分点,比北京语言大学开发的集成中文语法纠错系统(BLCU_ensemble)提高6.48个百分点;同时,所提模型不增加额外的训练数据量,增强了原始数据的多样性,且具有更快的收敛速度。

基于Transformer融合词性特征的中文语法纠错模型

针对中文同一个词的不同词性在句子中所代表的关系不同的问题,提出基于Transformer融合词性特征的中文语法纠错(CGEC)模型,所提模型将语言学知识作为辅助信息融入中文语法纠错任务。首先,在不改变句子序列长度的基础上,在原始词嵌入层中以不同方式拼接词性向量,得到全差异词嵌入、词差异词嵌入和词性差异词嵌入三种不同的词嵌入方式;然后,将新的词嵌入方式与Transformer模型相结合,对错误语句进行语法纠错。实验结果表明,三种词嵌入方式均不同程度地提高了F0.5值,且全差异词嵌入方式的效果最好:与Transformer模型相比,F0.5提升了2.73个百分点,BLEU提升了6.27个百分点;与基于Transformer增强架构的中文语法纠错模型相比,F0.5提升了1.88个百分点。所提模型在对词性特征提取时可以侧重源语句与目标语句的语法差异,更好地捕捉句子的语法特征。

基于中文语法纠错的即时通信系统原型构建

为解决即时通信系统中消息的语言文本错误问题,本文设计实现了一个基于中文语法纠错即时通信系统的原型系统。该原型系统使用ErrorCorrectionChat模拟即时通信系统,并将中文文本纠错工具PyCorrector服务化为可提供文本错误纠错的语言文本纠错服务,通过在ErrorCorrectionChat产生消息时调用语言文本纠错服务实现消息的纠错功能。原型系统较好地验证了基于中文语法纠错的即时通信系统构建的可行性。同时,文章指出了在特定应用场景下即时通信系纠错能力提升的方法和移动端纠错响应具备实时性的解决方案,为下一步研究提供了思路。

基于BERT-Encoder和数据增强的语法纠错模型

语法纠错是自然语言处理领域的重要任务之一,中文由于语法规则灵活复杂,中文语法纠错一直是一项具有挑战性的任务.本研究将中文语法纠错视为机器翻译问题,将错误的语句作为源语句翻译成正确的目标语句.使用Transformer模型作为基线纠错模型,首先,利用BERT学习到的参数初始化编码器(BERT-Encoder)使模型更好的收敛,然后,利用动态掩蔽作为数据增强方法,解决训练所需的带错误标注的平行语料不足的问题.使用MaxMatch Scorer作为评价指标,F0.5相比基线模型提升了9.94%,实验结果表明该方法对模型纠错性能的提升具有有效性.

基于Soft-Masked BERT的新闻文本纠错研究

互联网时代的新闻宣传领域,每天都会产生海量的文本稿件,仅依靠人工进行校正,成本极高,效率低下。利用计算机辅助技术对新闻稿件进行审阅极大地提高了校稿效率,大大减少人力成本,进一步利用特定新闻领域语料集的深度学习模型,完成个性化定制,在该领域的纠错过程中可以取得更好的效果。文中使用一种全新的中文文本纠错模型理论:Soft-Masked BERT,该模型将中文文本的检错过程与纠错过程分离,纠正网络的输入来自于检测网络输出。文中旨在Soft-Masked BERT基础上进行改进并应用。使用“哈尔滨工业大学新闻网”新闻稿件中10 000条文本序列(HIT News Site)作为初始语料进行训练,之后对该新闻网的相关稿件进行中文文本校对。结果表明,Soft-Masked模型在HIT News Site数据集上的整体性能表现优于BERT-Finetune,准确率提高0.6个百分点,精确率提高1.3个百分点,召回率提高1.5个百分点,F1分数提高1.4个百分点,效果良好。

融合位置编码的中文拼写纠错方法

在中文拼写纠错任务中,字符在文本中的距离信息和顺序信息是重要的特征,因此位置编码至关重要。传统的位置编码无法区分字符的前后联系,此外二阶段方式的纠错方案存在错误传播问题。针对上述问题,提出一种多任务学习下融合位置编码的中文拼写纠错方法,使用融合位置编码更好地为模型提供位置信息;使用多任务学习机制缓解错误传播问题,提升模型泛化能力。针对公开数据集进行实验,实验结果在F1值方面有稳定提升,验证了所提方法的有效性。

关于中文拼写纠错数据增强的方法

针对中文文本纠错领域中训练深度学习模型所需要的标注数据有限这一问题,提出了五种数据噪声替换方案。通过实验验证,证明了其中的音似替换和形似替换两种方案可以有效增强该领域数据质量,然后通过对这两种替换方案的对比实验,探索出了一种更有效的混合替换方案。其核心在于通过噪声替换的方式提升现有数据集的大小和多样性,进而提高中文拼写纠错模型的性能。