Research and Analysis of Grammatical Error Correction Technology for Chinese Documents

With the widespread use of Chinese globally, the number of Chinese learners has been increasing, leading to various grammatical errors among beginners. Additionally, as domestic efforts to develop industrial information grow, electronic documents have also proliferated. When dealing with numerous electronic documents and texts written by Chinese beginners, manually written texts often contain hidden grammatical errors, posing a significant challenge to traditional manual proofreading. Correcting these grammatical errors is crucial to ensure fluency and readability. However, certain special types of text grammar or logical errors can have a huge impact, and manually proofreading a large number of texts individually is clearly impractical. Consequently, research on text error correction techniques has garnered significant attention in recent years. The advent and advancement of deep learning have paved the way for sequence-to-sequence learning methods to be extensively applied to the task of text error correction. This paper presents a comprehensive analysis of Chinese text grammar error correction technology, elaborates on its current research status, discusses existing problems, proposes preliminary solutions, and conducts experiments using judicial documents as an example. The aim is to provide a feasible research approach for Chinese text error correction technology.

中文文本纠错软件测试用例的选择生成方法

针对目前尚无有效的中文文本纠错软件测试用例生成方法的情况,为了服务于软件纠错性能的测量并为软件提供优化方向,设计了一种面向多用户的、工程化的中文文本纠错软件测试用例选择生成方法(SGMT-CCS)。定义了两种不同的可供用户选择的用例评判标准:错误数量密度和错误种类密度。设计了三个模块:测试用例自动化生成模块、测试用例选择模块以及测试用例优先级排序模块。在SGMT-CCS中,用户可以:1)在测试用例自动化生成的过程中自定义错误最小间隔和用例集大小;2)在测试用例选择的过程中自定义错误最小间隔和期望值;3)在测试用例选择和优先级排序的过程中选择不同的用例评判标准进行自定义操作,以适应不同数据集的要求。实验结果表明,SGMT-CCS能够在较短的时间内获得有效的测试用例,选择模块实验在模拟的需求情况下都能满足用户自定义目标,优先级排序模块实验验证了相较于排序前,在不同评判标准下的不同时间段内都能有效提高测试效率。

《闽北文书》标题文字疏证

《闽北文书》具有史学、农学、法学、档案学和语言学等多学科学术价值,其珍贵性是不言而喻的。结合各地宋元以来民间文书,参考相关字书、书法作品和方言,考订《闽北文书》标题构拟中存的文字误读、著录信息不确等问题,希望能恢复《闽北文书》的原貌,为《闽北文书》的史学等相关研究扫清语言文字障碍,提高研究的质量。

编辑视觉心理对编校工作的影响

出版物文字差错是影响出版物质量的重要因素之一。从视觉心理角度分析,出版物文字差错产生的原因主要有视觉疲劳、重心偏移、视觉后象和形近偏旁的干扰等,针对这些原因减少文字差错有助于出版物质量的提升。

基于评分矩阵与评论文本融合的混合推荐模型

推荐系统已在电子商务中迅速推广应用,其带来的数据稀疏性增加了评分预测的不准确因素。提出了一种将评分和评论文本相融合的混合推荐模型(MRB),将用户偏好影响因子引入用户评分预测模型(UBP)中,将项目-时间因子引入项目评分预测模型(IBP)中,通过推荐结果平均绝对误差(MAE)实验验证,当近邻数为50时,该模型明显优于传统的模型。

基于BERT和多特征融合嵌入的中文拼写检查

由于汉字的多样性和中文语义表达的复杂性,中文拼写检查仍是一项重要且富有挑战性的任务。现有的解决方法通常存在无法深入挖掘文本语义的问题,且在利用汉字独特的相似性特征时往往通过预先建立的外部资源或是启发式规则来学习错误字符与正确字符之间的映射关系。文中提出了一种融合汉字多特征嵌入的端到端中文拼写检查算法模型BFMBERT(BiGRU-Fusion Mask BERT)。该模型首先利用结合混淆集的预训练任务使BERT学习中文拼写错误知识,然后使用双向GRU网络捕获文本中每个字符错误的概率,利用该概率计算汉字语义、拼音和字形特征的融合嵌入表示,最后将这种融合嵌入输入到BERT中的掩码语言模型(Mask Language Model,MLM)以预测正确字符。在SIGHAN 2015基准数据集上对BFMBERT进行了评测,取得了82.2的F1值,其性能优于其他基线模型。

基于行业词表的自动语音转写后优化技术

自动语音识别(ASR)技术目前已发展得较为成熟,通用ASR引擎已经广泛应用于交通、医疗、通信等行业。但是,由于行业专有词汇在大规模训练语料库中呈非独立同态分布,通用ASR引擎在各细分行业转写时存在对行业专有词汇识别准确率低的问题。相较于互联网环境的16 kHz音频采样率,电话呼叫中心语音为窄带低采样(采样率8 kHz),转写后精度下降尤为明显。为了提高行业词汇的语音转写准确率,文中提出一种基于行业词表的ASR转写后优化技术。首先,对语料库文本数据分别采用卷积神经网络模型和深度神经网络BERT模型进行预测分词,生成行业纠错词表。随后,在生产环境中,使用通用ASR引擎对电话呼叫语音数据进行初始转写。然后,对一次转写后的文本,通过Soft-Masked BERT模型结合纠错词表实现文本数据的纠错,从而提高语音识别准确率。使用广州12345热线客服通话语音数据进行训练和测试,结果表明,使用文中的转写后优化技术可以将通用ASR引擎的行业用词转写准确率提高约10个百分点,且纠错速度较快,具有良好的适用性。

文学语篇机器译文错误类型分析——以Google英译中国现当代小说为例

通过语料统计的研究方法,对中国现当代小说英译的机器译文错误类型和原因进行归纳和探讨。研究发现,Google的文学语篇翻译效果还不尽如人意,译文错误体现在词汇、句法、语篇及语用修辞等各个方面。词汇错译体现在机器不能识别由于语言类型及文化因素引起的词语多义性方面;句法错误体现在现代汉语特殊句法的英译中;语篇错误体现在关联词语的缺乏方面;语用及修辞错误体现在语义晦涩及话语标记语的译文语用失误方面。

基于LSTM和灰色模型的股价时间序列预测研究

影响股价的因素错综复杂,因此在考虑多变量情形下,对时间序列中常用的长短期记忆网络(LSTM)进行修正,并选取股票价格进行预测.首先,采用方差膨胀因子(VIF)进行变量的筛选,再结合自适应提升法(Adaboost)模型查看特征变量的重要程度.其次,用爬虫对投资者情绪进行文本分析,计算情绪指数等指标并揭示其与股价的关系.然后,对格力电器、飞科电器、美的集团3支股票进行股价预测,对比多层感知器(MLP)模型、LSTM模型,并选择适当的模型作为基准模型,在基准模型的基础上加上情绪指数、投资者关注度等指标构建了LSTM-EM模型.进一步,在考虑了投资者情绪后对残差项使用GM(1,1)模型进行修正.实证结果表明,该模型能对股价进行较为精确的预测.

语音转录后文本的中文拼写纠错模型

针对目前语音转录文本错误率较高的问题,本文提出一种基于MacBERT的文本先检错后纠错模型,对语音转录后文本进行校正。检错阶段使用MacBERT-BiLSTM-CRF模型检查文本是否有错及出错位置。纠错阶段从置信度和字音相似度两个维度出发,划定“置信度-字音相似度”曲线判断候选字是否进行纠错。候选字的置信度使用MacBERT语言模型计算,并提出一种基于拼音码的字音相似度计算方法。在语音公开数据集Thchs-30上通过调用百度语音识别API进行实验,相比现有方法,在检错阶段和纠错阶段的精确率、召回率、F1值都得到了提高,其中纠错阶段精确率达到83.32%,提高了转录文本的正确性。

DCsR:一种面向中文文本的集成式纠错框架

中文文本纠错技术在自然语言处理中有着非常重要的应用。针对书写灵活多变的中文文本,现有的纠错模型无法覆盖多种错误类型且存在从候选集合TOPK中挑选TOP1时出错概率极大的问题。提出了一种面向中文文本的集成式纠错框架——DCsR,摒弃以往建立在已知错误类型的假设上利用单一模型进行纠错的解决方案,根据不同场景选择添加多种表现优异的纠错模型分别进行纠错再集成召回更全面的候选集,同时根据自定义特征的重要程度建立了一个多策略、可拓展的候选排序算法,以挑选更具有公信力的修正结果。DCsR框架有效地解决了模型的偏向性问题,进一步全面提升了对中文文本拼写纠错的能力。实验结果表明,在公开数据集SIGHAN15上,对比现在的主流纠错模型,使用DCsR框架进行纠错的F1值比表现最优的单模型纠错高出了3.93%,进一步提升了对中文文本的纠错能力。针对CGED2020进行的消融实验也表明了DCsR框架的有效性。

融合字符与词性特征的泰语文本语法错误检测

文本语法错误检测与纠正旨在自动识别并纠正文本中的语法错误。与汉语、英语等语言不同,该任务在一些泰语语言的文本上受制于数据规模问题,仍然只能针对简单规则进行识别和校正。该文结合相应的语言学及错误类型特点,基于人工启发式规则,利用单语数据构建了一定规模的泰语文本语法错误检测与纠正语料库。基于该语料库,该文提出一种融合语言学特征的泰语文本语法错误检测方法,在多语言BERT序列标注模型的基础上融合字符、词与词性的深层语义表达。实验结果表明,该文方法的错误检测性能比仅依赖于多语言BERT的基线模型提升了1.37%的F1值,并且模型性能会随着训练数据规模的增大而提高,证明了该文语料库构建方法的有效性。

《四库全书总目》明清诗文评提要文献征引辨误

《四库全书总目》虽系目录学之作,也包含着文学批评的内容,凸显其独特的历史文献价值。有关明清诗文评提要,主要体现在版本叙录、文献征引和批评观点等方面。其对中国文学批评史、中国诗话史等研究影响较深。于文献征引而言,馆臣撰写明清诗文评提要时,参阅了大量明清诗文评原著文献及相关文献,这些文献不仅是明清诗文评提要文本内容的组成部分,也可以为其批评观点提供依据。细阅明清诗文评提要中的文献征引内容,可知其存在错误主要如下:臆改引文致误、引述作者不当、誊录书名不确、征引内容存误、前后信息抵牾和文献出处标错等。对这些文献征引错误辨证,亦有助于明清诗文评文献研究的深入。

基于MacBERT⁃BiLSTM和注意力机制的短文本分类研究

针对中文短文本上下文依赖性强,特征信息难以提取的问题,提出一种融合MacBERT、双向长短期记忆神经网络(BiLSTM)、注意力(Attention)机制的短文本分类模型方法。利用预训练模型MacBERT得到动态词向量,输入BiLSTM模型中提取上下文关系特征。结合注意力机制分配不同的权重值,最后使用Softmax分类器得到分类结果。研究表明,该模型在THUCNews数据集上F1值达到了95.63%,相较于基准模型BERT提高了2.18%,验证了其在短文本分类任务中的可行性和有效性。

培智学校中高年级段智障学生汉语书面语句法偏误研究

采用文本分析法对146名智障学生书面语中的897例句法偏误进行分析。研究发现,句法偏误主要表现为搭配不当、语序不当和成分冗缺。其中,搭配不当主要体现为主谓、谓宾搭配不当;语序不当主要体现为主谓、谓宾语序不当,且该问题存在跨障碍程度的稳定性;成分冗缺主要体现为主、谓、宾的冗缺,且该问题存在跨年级段的稳定性;高年级段学生的句式杂糅问题更为突出,含义不明问题存在跨年级段的稳定性。

基于知识图谱与BERT的安全领域汉字文本纠错模型

针对安全领域所涉及的文本中存在大量人为混淆的文字的问题,提出一种基于汉字知识图谱的BERT(Bidirectional Encoder Representation from Transformers)预训练模型,表征汉字的读音、字形、语义三个维度的特征,构建纠错算法。首先,构建汉字知识图谱刻画汉字的读音、字形拆解、繁简转换、汉字与数字转换等属性和关系,并基于汉字知识图谱中的读音属性和node2vec模型训练得到汉字读音向量;其次,基于知识图谱中字形关系构建node2vec模型,得到node2vec字形向量,并结合卷积神经网络(CNN)方法训练字形向量,两者之和作为最终的字形向量;最后,基于BERT预训练模型,融合读音、字形、语义三维度的向量,并在不同维度间使用自注意力机制加权求和,发现错误字位置并选择正确的候选字。为验证所提模型的有效性,在安全领域诈骗短信数据集上,将所提模型与FASpell、SpellGCN、Soft-Masked BERT进行了对比。实验结果表明,所提模型的正确率和召回率比FASpell分别提升了24.7、21.6个百分点,比SpellGCN分别提升了22.2、13.7个百分点,比Soft-Masked BERT分别提升了20.8、32.7个百分点。可见该纠错模型能够有效识别安全领域文本的错字,在网络诈骗文本分类、要素提取等下游任务中有较好的效果。

基于错误纠正模块的场景文本识别算法

近年来,场景文本识别技术得到了飞速发展.然而,由于不规则场景文本图像中经常存在诸如杂物遮挡、分布扭曲、光照不足等视觉障碍,使得现有方法不能对单词中某些字符进行准确识别,进而产生较多的错误识别.为了解决这一问题,本文提出了一种基于错误纠正(error correction,EC)模块的场景文本识别算法.与现有算法中的纠错模块不同,所提出的EC模块是一个序列到序列的预测模型.在EC模块的编解码结构中增加了多单元注意力机制,能够更加关注特征图中的一些重要信息.EC模块可直接从纯文本中学习语义信息,用于纠正拼写错误的文本.此外,提出了一种基于场景文本识别的多特征(multi-feature,MF)提取器,该提取器由5个MF单元组成,可分别从Resnet-45后5个模块的输出中提取特征信息.与传统的方法相比,MF提取器可以从不同深度挖掘更加丰富的图像信息.在7个数据集上的对比实验结果表明,与当前先进方法相比,所提算法在性能上具有明显的优势.

地区电网调度操作票系统的功能设计

介绍了一个自主开发的地区电网调度操作票系统及其各模块的功能设计。该系统不但具有操作任务和操作顺序项快速生成功能、计划任务文本分词识别功能和典型操作票检索等功能用于生成操作票,还具有插入大项、插入小项、删除行、上移行、下移行和连续撤销等高效编辑功能;在进行插、删、移行的过程中,大、小项序号能自动调整;在操作票保存前能对各行操作项中的操作动作和设备以及厂站、设备和代号的匹配关系进行自动校验纠错,同时提供一键导入OMS系统的软连接接口。该系统已成为地区电网调度日常工作中的重要工具。

基于文本特征识别的医院电子档案自动分类系统设计

针对传统系统在医院电子档案自动分类中存在错分率高、分类效率低的问题,设计基于文本特征识别的医院电子档案自动分类系统。首先,建立电子档案文本信息处理模块、文本特征识别模块、自动分类模块3个功能模块;其次,对档案文本信息聚类,提取电子档案文本特征,根据特征进行档案自动化分类;最后,进行实验对比分析。实验结果表明,该系统的错分率在1%以内,分类效率在95%以上,具有一定的应用价值。

高校容错纠错机制的构建与优化——基于部分高校容错纠错政策性文本的比较分析

党的二十大报告对建设堪当民族复兴重任的高素质干部队伍作出部署,指出要落实“三个区分开来”,激励干部敢于担当、积极作为。高校是党的领导阵地,肩负为党育人、为国育才的职责使命,高校干部在加快建设中国特色社会主义现代化教育强国之路上扮演着重要角色。当前,高校层面存在容错纠错制度机制搭建不平衡,容错纠错启动实施难、效果甚微等问题。在全面从严管党治校背景下,构建符合高校改革发展实际的容错纠错机制、优化实施路径、激活制度效能,是加强新时代党的制度建设、健全全面从严治党体系、鼓励激励高校干部干事创业、推动高等教育高质量发展的应有之义。