探索中文预训练模型的混合粒度编码和IDF遮蔽

目前大多数中文预训练语言模型采用字级别编码,因为字符级编码序列长而产生大量计算开销。词级别编码尽管能够缓解这一问题,但也会带来其他问题,如词典外词、数据稀疏等。针对中文不同粒度的编码,该文提出使用混合粒度编码的中文预训练模型。这一编码所用的词表在大规模预训练语料上得到,因此缓解了词典外词和数据稀疏问题。为了更进一步增强模型性能,该文提出了一种选择性的遮蔽语言建模训练策略——IDF遮蔽。这一策略基于词在大规模预训练语料上统计的逆文档频率。实验表明,与之前的中文预训练语言模型相比,该文所提出方法预训练的模型在多个中文自然语言数据集上取得了更好或相当的性能,并且能更高效地编码文本。

面向情感语言建模的中文预训练模型探索与改进

文章探讨了中文预训练语言模型在情感分析任务中的应用与改进。提出了一种新的预训练方法,通过引入情感词典和情感分类任务,提高了模型对情感语义的理解能力。在多个情感分析数据集上的实验表明,该模型相比现有方法取得了显著的性能提升,验证了所提出方法的有效性。该研究为中文情感分析任务提供了新的思路和参考。

中文预训练模型研究进展

近年来,预训练模型在自然语言处理领域蓬勃发展,旨在对自然语言隐含的知识进行建模和表示,但主流预训练模型大多针对英文领域。中文领域起步相对较晚,鉴于其在自然语言处理过程中的重要性,学术界和工业界都开展了广泛的研究,提出了众多的中文预训练模型。文中对中文预训练模型的相关研究成果进行了较为全面的回顾,首先介绍预训练模型的基本概况及其发展历史,对中文预训练模型主要使用的两种经典模型Transformer和BERT进行了梳理,然后根据不同模型所属类别提出了中文预训练模型的分类方法,并总结了中文领域的不同评测基准,最后对中文预训练模型未来的发展趋势进行了展望。旨在帮助科研工作者更全面地了解中文预训练模型的发展历程,继而为新模型的提出提供思路。

弹幕文本情感分类模型研究--基于中文预训练模型与双向长短期记忆网络

针对弹幕文本的口语化、网络化、一词多义等特点,提出BERT-wwm-BiLSTM模型以提升情感分类准确率。该模型引入BERT-wwm预训练模型,得到有关上下文信息的动态词向量,采用BiLSTM对特征进行提取,最后使用softmax进行情感分类。在自建的bilibili和腾讯视频两个弹幕数据集上进行实验,Acc、p、R、F_(1)值等4个指标均优于其他模型,且在一词多义弹幕文本中有突出表现,证明该模型在弹幕文本情感分类中的有效性。

融合对抗训练的中文GPT对话模型研究

在已清洗的中文会话数据集中进行预训练时存在对话模型泛化能力降低、微调后评价指标偏低的问题,为此采用对抗训练的方法,提出一种融合对抗训练的中文GPT对话模型。在微调过程中使用投影梯度下降法进行训练,使用Focal损失函数加快训练速度。实验结果表明,融合对抗训练后,在有噪声的数据集微调和测试中,该模型与基线模型相比具有较强的抗干扰和泛化能力。

基于BERT—BiLSTM—CRF模型的中文岩石描述文本命名实体与关系联合提取

地质调查正在从“数字化”走向“智能化”,需要在大数据思维的指导下,面向非结构化数据开展机器阅读和地质知识的自动提取。地学命名实体和关系联合提取是当前研究的难点和核心。本文采用基于大规模预训练中文语言模型的BERT—BiLSTM—CRF方法开展岩石描述文本命名实体与关系联合提取。首先,通过收集数字地质填图工作中的剖面测量和路线地质观测数据,建立岩石描述语料;然后,在岩石学理论指导下分析岩石知识组成,完成岩石知识图谱命名实体与关系的模式设计,标注岩石语料;最后,开展岩石描述语料知识提取的深度学习训练和消融试验对比。试验结果显示,大规模预训练中文语言模型(BERT)对岩石描述语料知识提取具有较高的适用性。推荐的BERT—BiLSTM—CRF模型方法对岩石命名实体与关系联合提取的准确率(F1值)为91.75%,对岩石命名实体识别的准确率(F1值)为97.38%。消融试验证明基于BERT的词嵌入层对岩石描述知识提取的性能提升影响显著,双向长短时记忆网络模型层(BiLSTM Layer)能提升实体关系联合提取性能。

基于检索器-鉴别器架构的电力地址匹配模型研究

为解决电力地址库与外部地址库地址的匹配问题,保证电力地址准确性,实现电力系统与外部系统间数据信息共享互通,本文提出一种基于检索器-鉴别器架构的地址匹配模型。首先介绍地址匹配模型的详细结构,包括用于缩小地址检索范围的地址检索器和最终分辨地址是否匹配正确的地址鉴别器,其中地址检索器基于词频-逆文档频率算法构建,地址鉴别器基于中文预训练语言模型NEZHA构建。还提出了一种负样本训练方法提升地址鉴别器辨别效果。详细介绍了实验分析所使用的两个数据集。实验结果表明基于检索器-鉴别器架构的电力地址匹配模型能够准确从外部地址库中找出与电力地址匹配的地址,其中,地址鉴别器能够非常准确地从多个候选地址中找出准确匹配地址,其F1分数达0.99以上。