ALBERT预训练模型在医疗文书命名实体识别中的应用研究

中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transformers,ALBERT)预训练模型微调数据集和Tranfomers中的trainer训练器训练模型的方法,实现在医疗手术麻醉文书上识别手术麻醉事件命名实体与获取复杂麻醉医疗质量控制指标值。文章为医疗手术麻醉文书命名实体识别提供了可借鉴的思路,并且为计算复杂麻醉医疗质量控制指标值提供了一种新的解决方案。

基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类

针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系.

基于ALBERT、Lattice IndyLSTM和Attention融合的用户意图分类

旨在对话式智能系统中的用户意图识别任务,论文提出了一种新型的用户意图分类模型。该模型结合了ALBERT预训练模型、格形式的独立循环长短期记忆网络(Lattice IndyLSTM)以及词注意力融合机制。通过构造一个由字嵌入和词嵌入组成的Lattice,输入至IndyLSTM网络实现对用户输入语句编码,能够处理传统意图分类任务中无法同时利用字词信息、RNN中存在梯度爆炸或者消失,LSTM模型过拟合等问题。此外,利用能够提高对用户输入语句中领域特定词汇的编码贡献度的词注意力机制,大大提升了意图识别准确性。通过实验得出,论文提出的用户意图分类模型能够有效提升精确率、召回率和F1值等指标。

基于注意力机制的ALBERT-BiLSTM-CNN评论情感分类

在自然语言处理领域中,针对静态词向量Word2Vec表示方法无法精准捕捉句子和文本结构的语义信息的问题,提出了一种基于ALBERT-CNN-BiLSTM-Attention的评论情感分析模型,该模型不仅有效解决了传统模型参数量多,计算和存储效率较低的问题,还显著提升了情感分类的准确率。该方法首先利用ALBERT模型获取评论文本动态特征,并引入注意机制模块对BiLSTM的输出结果进行文本关键词权重获取,然后利用CNN获取文本局部特征,最后通过softmax层对评论内容进行情感分类。实验结果表明,该研究提出的模型相较于传统方法和其他ALBERT的模型在准确率和召回率上都有显著的提升,准确率达到88.43%,召回率达到88.17%,F1值达到88.30%。

基于ALBERT的藏汉神经机器翻译研究

藏汉翻译能够极大促进藏汉科技文化交流以及教育文化事业的发展,但一直以来都面临着低资源语种平行语料匮乏的困境,因此通过将预训练语言模型ALBERT引入到藏汉翻译中,利用大规模的藏文单语数据集训练ALBERT模型来改善藏汉翻译效果。实验表明,引入预训练模型ALBERT可以有效提升藏汉神经机器翻译效果。

基于孪生ALBERT网络的语义相似度计算研究

在自然语言处理领域,尤其是信息检索、机器翻译和智能问答系统等具体应用中,语义相似度计算至关重要。研究针对SBERT模型在文本内部关联关系和交互信息提取方面的局限性,提出了一种基于改进的孪生ALBERT网络的语义相似度计算模型(SALSA)。该方法在孪生网络的架构下引入了轻量级ALBERT语言模型和自注意力模块。实验显示,在LCQMC数据集上,相同参数量的SALSA模型在准确度和F1值上相较于SBERT模型分别提升了6.97%和6.22%,同时训练速度提升了0.5倍。

融合ALBERT与规则的小麦病虫害命名实体识别

小麦病虫害中文命名实体识别是构建该领域知识图谱的关键步骤,针对小麦病虫害领域训练数据匮乏、实体结构复杂、实体类型多样及实体分布不均匀等问题,在充分挖掘隐含知识的前提下,采用了两种数据增广方法扩充句子语义信息,构建了小麦病虫害实体识别语料库WpdCNER及其领域词典WpdDict,并在领域专家的指导下定义了16类实体;同时提出了一种基于规则修正的中文命名实体识别模型WPD-RA,该模型基于轻量级BERT+双向长短期记忆网络+条件随机场(ALBERT+BiLSTM+CRF)进行实体识别,并在识别后定义具体规则校准实体边界。融合规则后的ALBERT+BiLSTM+CRF模型取得了最好的识别结果,准确率为94.72%,召回率为95.23%,[F1]值为94.97%,相比不加规则的识别结果,其准确率、召回率、[F1]值分别增加了1.71个百分点、0.34个百分点、1.03个百分点。实验结果表明,该方法能有效识别小麦病虫害领域命名实体,识别性能优于其他模型,为食品安全、生物等其他领域命名实体识别提供了一种可借鉴的思路。

基于ALBERT的网络威胁情报命名实体识别

网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别模型.该模型首先使用ALBERT提取威胁情报动态特征词向量,然后将特征词向量输入到双向长短期记忆网络(BiLSTM)层得到句子中每个词对应的标签,最后在条件随机场(CRF)层修正并以最大概率输出序列标签.识别模型对比实验结果显示,提出模型的F1值为92.21%,明显优于其他模型.在识别准确率相同的情况下,提出模型的时间和资源成本也较低,适用于网络威胁情报领域海量高效的实体识别任务.

结合ALBERT和BiFASRU-AT的情感分析模型

针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.

基于ALBERT的电力变压器运维知识图谱构建方法与应用研究

当前电网数字化转型升级,且电力变压器智能健康管理技术快速发展,而在运维过程中存在信息关联性弱以及决策生成效率低的问题。目前,知识图谱在航天器运维等其他工业领域已有应用,知识查询效率显著提升。电力变压器运维领域鲜有知识图谱构建相关文献,且针对电力变压器运维领域公开数据较少、运维知识难以被有效挖掘的问题,该文提出一种基于ALBERT的电力变压器运维知识图谱构建方法。首先获取电力变压器领域公开文献,并使用正则匹配的样本生成方法对电力系统事故调查报告等半结构化语料进行样本增强,构建电力变压器运维领域的训练数据集;然后应用ALBERT-BiLSTM-CRF深度学习算法从电力变压器相关文献与事故调查报告中抽取了电力变压器运维实体,并将此算法与传统深度学习算法进行对比,验证了此方法的优越性;接着,利用融入了ALBERT和注意力机制的ALBERT-BiLSTM-Attention深度学习算法对电力变压器运维实体进行关系抽取,相较于其他深度学习算法,此算法在电力变压器运维领域文本中具有更好的表现;最后使用Neo4j图数据库对知识图谱进行可视化呈现,并实现了基于电力变压器运维知识图谱的辅助决策功能。

基于语义筛选的ALBERT-TextCNN中医文本多标签分类研究

针对中医领域中的大量未标注文本,以及传统多标签分类模型提取的文本语义信息不够完整等问题,提出一种用于中医文本的多标签分类模型语义筛选ALBERT-TextCNN。首先进行特定领域任务自训练,将哮喘领域内属于多标签分类任务但未标注文本输入ALBERT进行预训练任务;其次ALBERT多层的Transform对已标注数据分别进行动态向量化表示,基于语义筛选选取最佳编码层生成的高效文本向量;最后引入TextCNN建立多标签分类器,提取文本向量不同层次的语义信息特征。在中医数据集上验证方法的有效性,实验结果表明,该模型的多标签分类精度有所提高,更适用于中医文本的分类预测。

基于ALBERT预训练模型的事件抽取技术研究

信息抽取技术用于从非结构化文本数据中提取关注度较高的信息。事件抽取技术是信息抽取研究领域中具有挑战的研究方向。事件抽取的目的是从非结构化文本数据中抽取描述事件的关键元素,并以结构化的方式呈现。事件抽取被看作序列标注任务,首先采用ALBERT预训练模型学习特征,其次引入条件随机场CRF模型提高序列标注性能,最后完成事件类型以及事件要素的识别分类。在ACE2005标准语料库上的实验结果表明,与现有模型相比,ALBERT-CRF模型在触发词识别和分类任务上的召回率和F值均有所提高。

融合 Albert 模型的珍稀濒危植物知识图谱的构建

针对珍稀濒危植物形态特征、分类等级、濒危系数、保护措施等知识不明确的问题,设计了文本融合轻量级双向转换编码表示模型(Albert)的知识抽取模型框架,实现批量抽取珍稀濒危植物知识,从而构建珍稀濒危植物知识图谱:1)在现存一般性植物本体的基础上,采用自顶向下的方式构建珍稀濒危植物本体,得到5个体系,即物种分类体系、生长形态特征体系、命名体系、保护现状体系和生态习性体系;2)采取Albert预训练模型来增强下游任务模型输入向量的珍稀濒危植物属性描述文本语义的表征能力;3)利用BiLSTM–CRF模型和BiGRU–Attention模型分别实现命名实体识别和关系抽取。在珍稀濒危植物数据测试集上对模型的有效性进行验证,结果表明,命名实体识别模型和关系抽取模型的召回率和准确率的调和平均值(F1)值分别达到98.07%和93.76%,将得到的大量的实体和关系所形成的三元组存储在图数据库Neo4j中,完成珍稀濒危植物知识图谱的可视化展示。

融合ALBERT与多通道特征网络的档案数据分类模型

为解决静态词向量语义表达不准确,传统网络模型特征提取单一等问题,提出了融合ALBERT与多通道特征网络的档案数据分类模型。采用ALBERT轻量级预训练模型提取档案数据文本特征向量,提升词向量语义表达能力;多通道特征网络捕捉不同尺度下的局部和上下文档案语义特征,软注意力机制计算每个特征对分类结果的贡献程度,由线性层输出档案类别。在公开数据集上的实验结果表明,该模型准确率达到了97.51%,优于近期表现较好的BERT-BiLSTM、BERT-TextCNN和ERNIE2.0-BiLSTM-Att深度学习模型。

基于ALBERT与双向GRU的中医脏腑定位模型

脏腑定位,即明确病变所在的脏腑,是中医脏腑辨证的重要阶段.本文旨在通过神经网络模型搭建中医脏腑定位模型,输入症状文本信息,输出对应的病变脏腑标签,为实现中医辅助诊疗的脏腑辨证提供支持.将中医的脏腑定位问题建模为自然语言处理中的多标签文本分类问题,基于中医的医案数据,提出一种基于预训练模型ALBERT和双向门控循环单元(Bi-GRU)的脏腑定位模型.对比实验和消融实验的结果表明,本文提出的方法在中医脏腑定位的问题上相比于多层感知机模型、决策树模型具有更高的准确性,与Word2Vec文本表示方法相比,本文使用的ALBERT预训练模型的文本表示方法有效提升了模型的准确率.在模型参数上,ALBERT预训练模型相比BERT模型降低了模型参数量,有效减小了模型大小.最终,本文提出的脏腑定位模型在测试集上F1值达到了0.8013.

基于ALBERT-UniLM模型的文本自动摘要技术研究

任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特征提取获得词向量。利用融合指针网络的UniLM语言模型对下游生成任务微调,结合覆盖机制来降低重复词的生成并获取摘要文本。实验以ROUGE评测值作为评价指标,在2018年CCF国际自然语言处理与中文计算会议(NLPC-C2018)单文档中文新闻摘要评价数据集上进行验证。与BERT基准模型相比,ALBERT-UniLM模型的Rouge-1、Rouge-2和Rouge-L指标分别提升了1.57%、1.37%和1.60%。实验结果表明,提出的ALBERT-UniLM模型在文本摘要任务上效果明显优于其他基准模型,能够有效提高文本摘要的生成质量。

基于ALBERT-CNN的外卖评论情感分析

为了解决如何获取文本的位置信息和捕获文本中更多情感信息的问题,利用一种结合ALBERT模型和卷积神经网络CNN的外卖评论情感分析模型ALBERT-CNN的方法。首先,ALBERT对文本词向量表示,获得文本动态特征表示;其次,利用卷积神经网络CNN对特征进行训练,有效获取更丰富的局部信息;最后,对ALBERT和CNN进行融合后提取的特征通过Softmax函数对外卖评论文本进行情感分类,并使用R_Drop对模型进行正则化。实验结果表明,与传统模型相比,使用了R_Drop的ALBERT-CNN模型的精确度P、召回率R和F1值均有提高。

基于ALBERT-BiLSTM模型的微博谣言识别方法研究

随着互联网的高速发展,网络上的信息剧增,如何识别网络谣言也成为当下研究热点之一。针对谣言初期的传播具有一定隐蔽性的特征,结合预训练语言模型ALBERT和双向长短期记忆网络设计了ALBERT-BiLSTM谣言识别模型,通过挖掘谣言内容的深层文本特征进行识别,使之在谣言初期也能应用。五折交叉验证实验结果表明,ALBERTBiLSTM模型在实验组中达到了最高的准确率98.095%、召回率98.014%和F1值98.098%,能够较好地识别微博谣言,对维护网络信息安全具有重要意义。

基于藏文Albert预训练语言模型的图采样与聚合实体关系抽取

实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案:①使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征;②使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性;③借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。

东非裂谷系Albert湖盆构造活动对沉积充填的影响

Albert湖盆作为东非裂谷系重要的裂谷盆地,具有巨大的油气资源潜力。但前期资料匮乏,制约着Albert盆地的研究进展,目前仍存在着构造活动背景下沉积物响应特征不明确等亟待解决的问题。通过录井、测井及地震地质资料,结合Google Earth对该区盆地结构、湖盆断裂体系和沉积体系开展研究,并深入探讨构造对沉积物分配的控制作用。研究表明,Albert湖盆发育非对称式地堑结构,盆地两侧以正断层发育为主,西侧陡,东侧缓;主要为三角洲-湖泊沉积体系,其中三角洲包括三角洲平原及前缘亚相,湖泊包括滨浅湖及深湖亚相。不同裂谷演化时期,构造对沉积物分配控制作用明显。低扩张阶段南侧断层活动强烈,沉积物主要从北侧入湖,主要发育河流及正常三角洲;初始断裂阶段西北侧断层活动强烈,沉积物从东南侧入湖,主要发育扇三角洲及辫状河三角洲;第2断裂阶段断裂活动基本终止,沉积物从东南、东北两方向入湖,主要发育扇三角洲、辫状河三角洲及河流相。湖盆内主要发育同向叠置型和相向平行型2类构造调节带,断层组合样式形成的构造低部位,作为沉积物搬运的有利通道,对沉积物的分配起到控制作用。