基于BERT模型的医疗安全事件智能分类研究与实践

目的/意义改进医疗安全事件分类评估模式,提升工作效率和时效性。方法/过程选取既往医疗安全事件数据进行预处理,利用BERT模型进行训练、测试、迭代优化,构建医疗安全事件智能分类预测模型。结果/结论利用该模型对2022年1-11月临床科室上报的466例医疗安全事件进行分类,F1值达0.66。将BERT模型应用于医疗安全事件分类评估辅助,可提升工作效率和时效性,有助于及时干预医疗安全风险隐患。

基于BERT和CNN的药物不良反应个例报道文献分类方法

在临床上,药物不良反应导致的死亡和用药不当造成的住院及门诊费急剧升高,成为临床安全合理用药面临的主要问题之一。目前对药物不良反应的回顾性分析和文献分析多以公开发表的文献资料为依据。学术文献作为重要的数据来源之一,如何自动批量地对其进行数据处理尤为重要。针对医药文本独特的表述方式,基于BERT及其组合模型进行文本分类技术比对实验,建立对药物不良反应个例报道文献数据进行高效快速分类的方法,进而分辨出药物不良反应的类型,有效预警药害事件。实验结果表明,使用BERT模型的分类准确率达到99.75%,其可以准确高效地对药物不良反应个例报道文献进行分类,在辅助医疗、构建医学文本结构化数据等方面均具有重要的价值和意义,进而能够更好地维护公众健康。

基于知识蒸馏改进双路BERT的经济类文本情感分析

在互联网时代,越来越多的财务公司选择在财经新闻平台上发表自己的见解,这些评论文本作为舆情的载体,可以充分反映财务公司的情绪,影响公众的投资决策和市场走势.情感分析为分析海量的经济类文本情感类型提供了有效的研究手段.但是,由于特定领域文本的专业性和大标签数据集的不适用性,经济类文本情感分析给传统的情感分析模型带来了巨大的挑战.当将一般情感分析模型应用于经济等特定领域时,模型在准确率与召回率上表现较差.为了克服这些挑战,文章针对财经新闻平台上的经济类文本的情感分析任务,从词表示模型出发,提出了基于知识蒸馏方法的双路BERT(Two-way BERT based on knowledge distillation method)情感分析模型,与文本卷积神经网络(Text-CNN)、卷积递归神经网络(CRNN)、双向长时和短时记忆网络(Bi-LSTM)等算法进行对比实验,结果得出该改进方法相较于其他算法在准确率、召回率和F1值均提升了1%~3%,具有较好的泛化性能.

基于BERT与生成对抗的民航陆空通话意图挖掘

针对民航陆空通话领域语料难以获取、实体分布不均,以及意图信息提取中实体规范不足且准确率有待提升等问题,为了更好地提取陆空通话意图信息,提出一种融合本体的基于双向转换编码器(bidirectional encoder representations from transformers,BERT)与生成对抗网络(generative adversarial network,GAN)的陆空通话意图信息挖掘方法,并引入航班池信息对提取的部分信息进行校验修正,形成空中交通管制(air traffic control,ATC)系统可理解的结构化信息。首先,使用改进的GAN模型进行陆空通话智能文本生成,可有效进行数据增强,平衡各类实体信息分布并扩充数据集;然后,根据欧洲单一天空空中交通管理项目定义的本体规则进行意图的分类与标注;之后,通过BERT预训练模型生成字向量并解决一词多义问题,利用双向长短时记忆(bidirectional long short-term memory,BiLSTM)网络双向编码提取上下句语义特征,同时将该语义特征送入条件随机场(conditional random field,CRF)模型进行推理预测,学习标签的依赖关系并加以约束,以获取全局最优结果;最后,根据编辑距离(edit distance,ED)算法进行意图信息合理性校验与修正。对比实验结果表明,所提方法的宏平均F_(1)值达到了98.75%,在民航陆空通话数据集上的意图挖掘性能优于其他主流模型,为其加入数字化进程奠定了基础。

基于LDA-BERT相似性测度模型的文本主题演化研究

文章针对LDA主题模型在提取文本主题时忽略文本语义关联的问题,提出基于LDA-BERT的相似性测度模型:首先,结合利用TF-IDF和TextRank方法提取文本特征词,利用LDA主题模型挖掘文本主题;其次,通过嵌入BERT模型,结合LDA主题模型构建的主题-主题词概率分布,从词粒度层面表示主题向量;最后,利用余弦相似度算法计算主题之间的相似度。在相似性测度模型基础上构建向量相似度指标分析文献研究主题之间的关联,并绘制主题演化知识图谱。通过智慧图书馆领域的实证研究发现,使用LDA-BERT模型计算出的主题相似度结果相较于LDA主题模型的计算结果更加准确,与实际情况更相符。

基于BERT特征融合与膨胀卷积的汉语副词框架语义角色标注

汉语框架语义角色标注对汉语框架语义分析具有重要作用。目前汉语框架语义角色标注任务主要针对动词框架,但是汉语没有丰富的形态变化,很多语法意义都是通过虚词来表现的,其中副词研究是现代汉语虚词研究的重要部分,因此该文从副词角度出发构建了汉语副词框架及数据集,且对框架下的词元按照语义强弱进行了等级划分。目前的语义角色标注模型大多基于BiLSTM网络模型,该模型虽然可以很好地获取全局信息,但容易忽略句子局部特征,且无法并行训练。针对上述问题,该文提出了基于BERT特征融合与膨胀卷积的语义角色标注模型,该模型包括四层:BERT层用于表达句子的丰富语义信息,Attention层对BERT获取的每一层信息进行动态权重融合,膨胀卷积(IDCNN)层进行特征提取,CRF层修正预测标签。该模型在三个副词框架数据集上表现良好,F1值均达到了82%以上。此外,将该模型应用于CFN数据集上,F1值达到88.29%,较基线模型提升了4%以上。

基于BERT+CNN_BiLSTM的列控车载设备故障诊断

列控车载设备作为列车运行控制系统核心设备,在高速列车运行过程中发挥着重要作用。目前,其故障诊断仅依赖于现场作业人员经验,诊断效率相对较低。为了实现列控车载设备故障自动诊断并提高诊断效率,提出了BERT+CNN_BiLSTM故障诊断模型。首先,使用来自变换器的双向编码器表征量(Bidirectional encoder representations from transformers,BERT)模型将应用事件日志(Application event log,AElog)转换为计算机能够识别的可以挖掘语义信息的文本向量表示。其次,分别利用卷积神经网络(Convolutional neural network,CNN)和双向长短时记忆网络(Bidirectional long short-term memory,BiLSTM)提取故障特征并进行组合,从而增强空间和时序能力。最后,利用Softmax实现列控车载设备的故障分类与诊断。实验中,选取一列实际运行的列车为研究对象,以运行过程中产生的AElog日志作为实验数据来验证BERT+CNN_BiLSTM模型的性能。与传统机器学习算法、BERT+BiLSTM模型和BERT+CNN模型相比,BERT+CNN_BiLSTM模型的准确率、召回率和F1分别为92.27%、91.03%和91.64%,表明该模型在高速列车控制系统故障诊断中性能优良。

基于BERT模型的源代码漏洞检测技术研究

源代码漏洞检测常使用代码指标、机器学习和深度学习等技术.但是这些技术存在无法保留源代码中的句法和语义信息、需要大量专家知识对漏洞特征进行定义等问题.为应对现有技术存在的问题,提出基于BERT(bidirectional encoder representations from transformers)模型的源代码漏洞检测模型.该模型将需要检测的源代码分割为多个小样本,将每个小样本转换成近似自然语言的形式,通过BERT模型实现源代码中漏洞特征的自动提取,然后训练具有良好性能的漏洞分类器,实现Python语言多种类型漏洞的检测.该模型在不同类型的漏洞中实现了平均99.2%的准确率、97.2%的精确率、96.2%的召回率和96.7%的F1分数的检测水平,对比现有的漏洞检测方法有2%~14%的性能提升.实验结果表明,该模型是一种通用的、轻量级的、可扩展的漏洞检测方法.

基于BERT和TextCNN的智能制造成熟度评估方法

随着智能制造2025目标的临近,企业为了解自身能力水平纷纷加入到智能制造成熟度评估的行列中。然而,由于智能制造成熟度评估标准的复杂性,企业缺乏其对行业水平的了解,导致企业贸然申请,浪费自身时间的同时又占用大量评估资源。鉴于此,设计了一种新的评估流程,采用文本处理算法对整个评估过程进行了重构,通过利用国标文件中智能制造成熟度评估标准,将其作为训练集,采用基于预训练语言模型与文本神经网络(BERT+TextCNN)相结合的智能评估算法代替人工评估。在真实的企业智能制造数据集上的验证表明,当BERT+TextCNN评估模型在卷积核为[2,3,4]、迭代次数为6次、学习率为3e-5时,对智能制造成熟度进行评估,准确率达到85.32%。这表明所设计的评估方法能够较准确地帮助企业完成智能制造成熟度自评估,有助于企业了解自身智能制造能力水平,制定正确的发展方向。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

一种针对BERT模型的多教师蒸馏方案

在传统的知识蒸馏中,若教师、学生模型的参数规模差距过大,则会出现学生模型无法学习较大教师模型的负面结果。为了获得在不同任务上均拥有较好表现的学生模型,深入研究了现有的模型蒸馏方法、不同教师模型的优缺点,提出了一种新型的来自Transformers的双向编码器表示(Bidrectional Enoceder Respresentations from Transformers,BERT)模型的多教师蒸馏方案,即使用BERT、鲁棒优化的BERT方法(Robustly optimized BERT approach,RoBERTa)、语言理解的广义自回归预训练模型(XLNET)等多个拥有BERT结构的教师模型对其进行蒸馏,同时修改了对教师模型中间层知识表征的蒸馏方案,加入了对Transformer层的蒸馏。该蒸馏方案在通用语言理解评估(General Language Understanding Evaluation,GLUE)中的多个数据集上的实验结果表明,最终蒸馏实验的结果较为理想,可以保留教师模型95.1%的准确率。

融合BERT模型与词汇增强的中医命名实体识别模型

现有的中医命名实体识别相关研究较少,基本都是基于中文病例做相关研究,在传统中医编写的病例文本中表现不佳。针对中医案例中命名实体密集且边界模糊难以划分的特点,提出了一种融合词汇增强和预训练模型的中医命名实体识别方法LEBERT-BILSTM-CRF。该方法从词汇增强和预训练模型融合的角度进行优化,将词汇信息输入到BERT模型中进行特征学习,达到划分词类边界和区分词类属性的目的,提高中医医案命名实体识别的精度。实验结果表明,在文中构建的中医病例数据集上针对10个实体进行命名实体识别时,提出的基于LEBERT-BILSTM-CRF的中医案例命名实体识别模型综合准确率、召回率、F1分别为88.69%,87.4%,88.1%,高于BERT-CRF,LEBERT-CRF等常用命名实体识别模型。

基于BERT的多视角事件日志修复

在业务流程执行过程中,由于信息系统故障或者人工记录出错等问题导致事件日志中数据的丢失,从而产生缺失的事件日志,使用这种缺失日志会严重影响业务流程分析结果的质量。针对这种缺失日志的修复问题,现有研究大部分仅从数据视角或者行为视角进行展开,很少从数据和行为相融合的视角开展事件日志的修复工作。提出了一种基于BERT模型的多视角事件日志修复方法。该方法利用双层BERT模型,从数据和行为融合的视角训练模型,通过BERT模型的预训练任务((masked attribute model,MAM)和(masked event model,MEM))以及Transformer编码块的注意力机制捕获输入属性的双向语义信息和长期依赖关系,使用微调策略进行模型训练,以预测的形式修复事件日志中的缺失值。最后,通过公开可用的数据集进行评估分析,结果表明,该方法在修复事件日志方面表现良好。

基于改进BERT模型的连续血压的预测方法研究

目前高血压已成为严重危害全球公共健康的重大问题。区别于传统的侵入式和袖带法的血压测量方式,为实时监测血压并助力早期诊断,本文专注于研究脉搏波波形与血压之间的内在关系,并提出了一种使用脉搏波的基于改进BERT(Bidirectional encoder representationns from transformers)模型的血压预测方法。方法首先应用巴特沃斯滤波器对原始脉搏波信号进行滤波预处理并周期性划分,然后结合深度学习技术,采用改进后的BERT模型,对划分后的脉搏波周期数据进行特征提取和分析。为验证本方法预测的有效性和准确性,采用MIMIC-Ⅲ数据库的数据进行实验。实验结果表明,本方法可以有效预测血压值,完全满足英国高血压学会的A类标准。通过深入研究脉搏波与血压的关系,本文改进BERT模型为高血压的预测与诊断提供了新的技术手段。

融合汉字输入法的BERT与BLCG的长文本分类研究

现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fused Chinese input methods,CIMBERT)、带有门控机制的长短期记忆卷积网络(BiLSTM fused CNN with gating mechanism,BLCG)相结合的文本分类方法。该方法使用BERT模型进行文本的向量表示,在BERT模型的输入向量中,采用了拼音和五笔两种常用的汉字输入法,增强了汉字的语义信息。建立了BLCG模型进行文本特征提取,该模型使用双向长短期记忆网络(BiLSTM)进行全局特征提取、卷积神经网络(CNN)进行局部特征提取,并通过门控机制(gating mechanism)动态融合全局特征和局部特征,解决了部分文本与目标主题无关导致模型误判的问题。在THUCNews数据集与Sogou语料库上对该方法进行了验证,其准确率为97.63%、95.43%,F1-score为97.68%、95.49%,优于其他文本分类模型。

面向自然语言理解的多教师BERT模型蒸馏研究

知识蒸馏是一种常用于解决BERT等深度预训练模型规模大、推断慢等问题的模型压缩方案。采用“多教师蒸馏”的方法,可以进一步提高学生模型的表现,而传统的对教师模型中间层采用的“一对一”强制指定的策略会导致大部分的中间特征被舍弃。提出了一种“单层对多层”的映射方式,解决了知识蒸馏时中间层无法对齐的问题,帮助学生模型掌握教师模型中间层中的语法、指代等知识。在GLUE中的若干数据集的实验表明,学生模型在保留了教师模型平均推断准确率的93.9%的同时,只占用了教师模型平均参数规模的41.5%。

基于BERT与细粒度特征提取的数据法学问答系统

首先利用bidirectional encoder representations from transformers(BERT)模型的强大的语境理解能力来提取数据法律文本的深层语义特征,然后引入细粒度特征提取层,依照注意力机制,重点关注文本中与数据法律问答相关的关键部分,最后对所采集的法律问答数据集进行训练和评估.结果显示:与传统的多个单一模型相比,所提出的模型在准确度、精确度、召回率、F1分数等关键性能指标上均有提升,表明该系统能够更有效地理解和回应复杂的数据法学问题,为研究数据法学的专业人士和公众用户提供更高质量的问答服务.

基于BERT的命名实体识别

在中文命名实体识别任务中,将字向量化表示是重要的步骤,然而传统的词向量表示方法只能将字映射为单一向量,无法表征字的多义性。对此引入了BERT预训练语言模型,BERT模型可以增强字的语义表示,根据其上下文动态生成语义向量。而针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,并搭建了BERT-BiLSTM-CRF模型。实验结果表明,基于BERT的命名实体识别模型在MSRA数据集上的F1-Score指标达到94.48%。优于传统机器学习模型和其他基于深度学习模型的方法。研究结果表明,BERT模型在命名实体识别任务中具有很好的应用前景。

基于BERT的电子病历命名实体识别

电子病历是保存、管理、传输病人医疗记录的重要资源,是医生诊治疾病的重要文本记录。通过电子病历命名实体识别(NER)技术能够高效、智能地从电子病历中抽取症状、疾病、药名等诊疗信息,有利于结构化电子病历,使之能够使用机器学习等技术进行诊疗规律挖掘。为了高效识别电子病历中的命名实体,提出一种融合对抗训练(FGM)的基于BERT与双向长短期记忆网络(BILSTM)的命名实体识别方法(BERT-BILSTM-CRF-FGM,BBCF),对2017全国知识图谱与语义计算大会(CCKS2017)提供的中文电子病历语料做修正等预处理后,采用BBCF模型识别该语料中5种实体的平均F1值为92.84%,比基于膨胀卷积网络的BERT模型(BERT-IDCNN-CRF)和基于BILSTM的条件随机场模型(BILSTM-CRF)有更高的F1值和更快的收敛速度,能够更加高效地结构化电子病历文本。

基于BERT和图注意力网络的篇章级事件论元识别

事件论元识别是事件抽取的子任务之一,其目的在于识别文本中与事件相关的论元及论元对应的论元角色。研究表明,句子的依存句法关系有助于事件论元任务识别,然而,在构造篇章的依存句法关系时容易引入不相关的论元产生噪声问题,现有方法对噪声问题处理不佳。针对该问题,提出了一个基于BERT和图注意力网络的篇章级事件论元识别模型。该模型从两个角度去解决噪声问题,一方面,通过获取充分的篇章语义特征作为辅助,去构建更有效的篇章依存句法特征;另一方面,采用图注意力网络对不同的论元节点分配不同的权重,从而去除掉无效的论元。在RAMS语料库上的实验结果表明,该方法有效解决了篇章依存句法关系中存在的噪声问题,取得了较好的篇章级事件论元识别结果。