基于ChineseBERT和多特征协同网络的电力设备缺陷文本分类模型

针对传统模型特征提取不够全面,词向量语义表达不准确等问题,提出了结合ChineseBERT和多特征协同网络的电力设备缺陷文本分类模型。采用针对汉字优化的ChineseBERT模型提取文本向量表征,提高词向量语义表示的准确性。多特征协同网络全面捕捉缺陷文本局部和上下文语义特征。软注意力机制提升模型聚焦于关键特征的能力。在真实电力设备缺陷文本数据集开展实验,结果表明该模型分类性能优于近期表现较好的深度学习模型,F1分数高达96.82%,证明了模型的有效性。

结合ChineseBERT和多特征网络的数学命名实体识别

针对基础深度学习模型特征提取能力不足,词向量语义表达不准确等问题,提出了结合ChineseBERT和多特征网络的数学命名实体识别模型。ChineseBERT结合当前词的上下文动态调整向量表示,提高词向量语义表示准确性;多特征网络通过改进的卷积网络和双向简单循环单元同时捕捉字符局部和全局序列特征,软注意力机制识别出对实体识别影响较大的关键特征,由条件随机场输出识别结果。在真实数学数据集进行实验,结果表明该模型F1分数达到了97.67%,高于近期表现较好的深度学习模型,简单循环单元训练效率更高,证明了模型的有效性。

基于ChineseBERT的双通道隐式情感分类

隐含情感分析是当前自然语言处理领域的热门研究方向之一。相比于传统的文本情感分析方法,隐含情感分析面临着一些挑战,例如表达方式较为隐晦、缺乏明确的情感词汇等。针对这些问题,提出一种基于ChineseBERT的双通道中文隐式情感分类模型。首先,采用嵌入汉字音形向量的ChineseBERT预训练模型来提取文本词的动态向量表征。然后,并行联合使用CNN与BiLSTM混合神经网络模型,通过嵌入自注意力机制的多尺度CNN网络捕捉文本局部特征,同时引入结合自注意力机制的BiLSTM提取文本深层次上下文信息特征,将改进后的CNN与BiLSTM进行特征拼接。最后,输入全连接层获得情感分类结果。经过实验,所设计的模型在SMP2019“拓尔思杯”数据集上Acc值达到了82.5%,分类效果显著提升,验证了模型具有可行性和有效性。

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面,而通用的预训练语言模型只考虑文本的语义信息,忽略了中文的拼音和字形特征.最新的中文拼写纠错(Chinese Spelling Correction,CSC)方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征,但和直接微调预训练模型相比,改进的模型没有显著提高模型的性能,因为由小规模拼写任务语料训练的拼音和字形特征,和预训练模型获取的丰富语义特征相比,存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上,由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段,基于ChineseBert的CSC方法不仅无须构建额外的网络,还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题,进一步提出SepSpell方法.首先利用探测网络检测可能错误的字符,再对可能错误的字符保留拼音特征和字形特征,掩码对应的语义信息进行预测,这样能降低预测过程中错误字符带来的干扰,更好地处理连续错误问题.在三个官方评测数据集上进行评估,提出的两个方法都取得了非常不错的结果.

融合ChineseBERT的电力安全隐患分类研究

针对循环模块特征提取能力不强、训练效率低等问题,提出了融合ChineseBERT的电力安全隐患分类模型(ChineseBERT-BiSRU++-AT)。ChineseBERT模型通过结合当前词的上下文动态训练文本向量表示,解决了一词多义问题;BiSRU++模块捕捉长距离序列特征和句子内部依赖信息,软注意力机制计算特征对结果的影响程度,由分类层输出结果。在真实电力公司电网安全隐患数据集的实验结果证明,与其他模型相比,ChineseBERT-BiSRU++-AT模型分类性能最高,F1值达到了97.44%,BiSRU++模块训练效率优于传统循环模块。

结合ChineseBERT的多尺度语义协同电网故障文本分类模型

针对传统深度学习模型特征提取不全面、静态词向量语义表示质量低等问题,提出基于ChineseBERT-BiSRU-MCNN-AT的电网故障文本分类模型。ChineseBERT模型训练过程融入了字形和拼音信息,结合词的上下文信息进行动态学习,解决一词多义问题。多尺度语义协同模块BiSRU-MCNN提取故障文本局部语义和全局序列特征,确保提取特征的全面性,软注意力层赋予模型识别关键词的能力。通过对电网故障文本数据集进行实验,其结果表明ChineseBERT-BiSRU-MCNN-AT取得了最高的F1值。

融合多尺度跨度特征的谓语中心词识别模型

针对谓语中心词识别模型中存在缺失跨度长度信息和多尺度跨度关联信息等问题,提出一种融合多尺度跨度特征的汉语谓语中心词识别模型。首先,使用ChineseBERT预训练语言模型和双向长短期记忆(BiLSTM)网络提取文本中包含上下文信息的字符向量序列;其次,利用线性神经网络对字符向量进行初步识别,形成跨度遮蔽矩阵;然后,将字符向量序列二维化表示为跨度信息矩阵,使用多尺度卷积神经网络(MSCNN)对跨度信息矩阵进行运算,提取跨度的多尺度关联信息;最后,采用特征嵌入神经网络嵌入跨度的长度信息,丰富跨度的特征向量以识别谓语中心词。实验结果表明,该模型能够有效融合跨度的多尺度关联信息和长度信息,提升谓语中心词识别的性能,相比于同类模型中性能最优的谓语中心词识别模型的F1值提升了0.43个百分点。

基于深度学习的医疗文本分类模型

针对静态词向量模型语义表示质量不高,深度学习模型无法聚焦关键特征等问题,提出了基于ChineseBERT-BiSRU-AT的医疗文本分类模型。预训练模型ChineseBERT融入字形和拼音特征,通过参考词的具体上下文语境,学习到词的动态语义表示。BiSRU模块提取文本高维序列特征,软注意力机制赋予关键词更高权重。在影像报告文本数据集进行实验,结果表明Chinese-BiSRU-AT模型取得了最高的F1分数,BiSRU模块训练效率更优,ChineseBERT模型应用效果更佳。

基于多通道融合特征网络的文本情感分析

针对现有文本情感分析基础深度学习模块特征提取不够全面,语义表示不准确及训练效率低等问题,提出了基于多通道融合特征网络的文本情感分析模型。首先,采用针对汉字优化的预训练模型ChineseBERT提取文本的动态词向量表征,解决静态词向量存在的无法表示多义词问题,提升词向量语义表征质量;然后,通过多通道融合特征网络全面捕捉文本不同尺度下的语义特征融合向量表示,增强模型对文本深层次情感特征的学习能力;并利用软注意力机制计算每个特征对情感极性类型识别的影响权重,赋予关键特征更高权重,避免无关特征对结果造成干扰;最后,由线性层输出文本情感分类结果。在SMP2020微博疫情相关情绪分类评测数据集、购物评论数据集和酒店评论数据集上进行实验验证,分别取得了76.59%、97.59%和95.72%的F1分数以及76.6%、97.59%和95.73%的准确率,高于近期表现优秀的对比深度学习模型,验证了该模型在文本情感分析任务上的有效性。