GeoNER:Geological Named Entity Recognition with Enriched Domain Pre-Training Model and Adversarial Training

As important geological data,a geological report contains rich expert and geological knowledge,but the challenge facing current research into geological knowledge extraction and mining is how to render accurate understanding of geological reports guided by domain knowledge.While generic named entity recognition models/tools can be utilized for the processing of geoscience reports/documents,their effectiveness is hampered by a dearth of domain-specific knowledge,which in turn leads to a pronounced decline in recognition accuracy.This study summarizes six types of typical geological entities,with reference to the ontological system of geological domains and builds a high quality corpus for the task of geological named entity recognition(GNER).In addition,Geo Wo BERT-adv BGP(Geological Word-base BERTadversarial training Bi-directional Long Short-Term Memory Global Pointer)is proposed to address the issues of ambiguity,diversity and nested entities for the geological entities.The model first uses the fine-tuned word granularitybased pre-training model Geo Wo BERT(Geological Word-base BERT)and combines the text features that are extracted using the Bi LSTM(Bi-directional Long Short-Term Memory),followed by an adversarial training algorithm to improve the robustness of the model and enhance its resistance to interference,the decoding finally being performed using a global association pointer algorithm.The experimental results show that the proposed model for the constructed dataset achieves high performance and is capable of mining the rich geological information.

A Modified CycleGAN for Multi-Organ Ultrasound Image Enhancement via Unpaired Pre-Training

Handheld ultrasound devices are known for their portability and affordability,making them widely utilized in underdeveloped areas and community healthcare for rapid diagnosis and early screening.However,the image quality of handheld ultrasound devices is not always satisfactory due to the limited equipment size,which hinders accurate diagnoses by doctors.At the same time,paired ultrasound images are difficult to obtain from the clinic because imaging process is complicated.Therefore,we propose a modified cycle generative adversarial network(cycleGAN) for ultrasound image enhancement from multiple organs via unpaired pre-training.We introduce an ultrasound image pre-training method that does not require paired images,alleviating the requirement for large-scale paired datasets.We also propose an enhanced block with different structures in the pre-training and fine-tuning phases,which can help achieve the goals of different training phases.To improve the robustness of the model,we add Gaussian noise to the training images as data augmentation.Our approach is effective in obtaining the best quantitative evaluation results using a small number of parameters and less training costs to improve the quality of handheld ultrasound devices.

Targeted BERT Pre-training and Fine-Tuning Approach for Entity Relation Extraction

Entity relation extraction(ERE)is an important task in the field of information extraction.With the wide application of pre-training language model(PLM)in natural language processing(NLP),using PLM has become a brand new research direction of ERE.In this paper,BERT is used to extracting entityrelations,and a separated pipeline architecture is proposed.ERE was decomposed into entity-relation classification sub-task and entity-pair annotation sub-task.Both sub-tasks conduct the pre-training and fine-tuning independently.Combining dynamic and static masking,newVerb-MLM and Entity-MLM BERT pre-training tasks were put forward to enhance the correlation between BERT pre-training and TargetedNLPdownstream task-ERE.Inter-layer sharing attentionmechanismwas added to the model,sharing the attention parameters according to the similarity of the attention matrix.Contrast experiment on the SemEavl 2010 Task8 dataset demonstrates that the new MLM task and inter-layer sharing attention mechanism improve the performance of BERT on the entity relation extraction effectively.

基于BERT模型的医疗安全事件智能分类研究与实践

目的/意义改进医疗安全事件分类评估模式,提升工作效率和时效性。方法/过程选取既往医疗安全事件数据进行预处理,利用BERT模型进行训练、测试、迭代优化,构建医疗安全事件智能分类预测模型。结果/结论利用该模型对2022年1-11月临床科室上报的466例医疗安全事件进行分类,F1值达0.66。将BERT模型应用于医疗安全事件分类评估辅助,可提升工作效率和时效性,有助于及时干预医疗安全风险隐患。

基于BERT和CNN的药物不良反应个例报道文献分类方法

在临床上,药物不良反应导致的死亡和用药不当造成的住院及门诊费急剧升高,成为临床安全合理用药面临的主要问题之一。目前对药物不良反应的回顾性分析和文献分析多以公开发表的文献资料为依据。学术文献作为重要的数据来源之一,如何自动批量地对其进行数据处理尤为重要。针对医药文本独特的表述方式,基于BERT及其组合模型进行文本分类技术比对实验,建立对药物不良反应个例报道文献数据进行高效快速分类的方法,进而分辨出药物不良反应的类型,有效预警药害事件。实验结果表明,使用BERT模型的分类准确率达到99.75%,其可以准确高效地对药物不良反应个例报道文献进行分类,在辅助医疗、构建医学文本结构化数据等方面均具有重要的价值和意义,进而能够更好地维护公众健康。

基于BERT-BiLSTM的油田安全生产隐患文本分类

事故隐患分类能够直观反映企业安全生产管理的薄弱点,同时将直接决定企业优化安全管理工作的方向。油田安全生产过程中,隐患种类多,数据量大,单纯依赖人工方式分类及管理效率较低,且难以发掘数据中蕴含的潜在规律。基于油田安全生产的需求及事故隐患特征,提出了一种基于BERT-BiLSTM的分类模型,用于油田安全生产隐患文本的主题自动分类,通过基于Transformer的双向编码器表示(bidirectionalencoder representations from Transformer,BERT)模型提取输入文本的字符级特征,生成全局文本信息的向量表示,再通过双向长短时记忆网络(bi-directional long short-term memory,BiLSTM)模型对局部关键信息和上下文深层次特征进行特征提取,进而通过Softmax激活函数进行概率计算得到分类结果。通过与传统分类方法的比较表明,BERT-BiLSTM分类模型在加权平均准确率、加权平均召回率和加权平均F_(1)等指标方面均有所改善,模型与油田企业现有安全管理信息系统的有机融合将为进一步提升油田企业的事故隐患管理针对性,推动企业安全管理从事后被动反应向事前主动预防转变提供重要的技术支撑。

基于BERT实现基础医学专业术语智能提取系统

在生成式人工智能的推动下,因材施教的个性化学习是现代教育的必然趋势。基于知识图谱的个性化学习路径是目前普遍采用的方式。在知识图谱的构建中,对专业术语的精准提取是最基础的工作,但仅靠人工完成,存在工作量大、易遗漏、不能及时更新的问题。文章通过自行设计标注的数据集medBaseDt,在开源预训练大模型BERT的基础上进行微调,训练完成termBERT模型,并设计开发了基础医学专业术语智能提取系统。该系统在组织学与胚胎学和病理学等教材中进行推理应用,专业术语提取准确率达到94.5±1.16%,取得了非常好的效果。通过该系统,教师能快速获取指定教材内容的专业词汇,快速完成知识图谱的设计。同时,该项技术也为后续研发AI智能构建知识图谱、智能生成试题和个性化学习打下了扎实的基础。

基于BERT古文预训练模型的实体关系联合抽取

古汉语文本承载着丰富的历史和文化信息,对这类文本进行实体关系抽取研究并构建相关知识图谱对于文化传承具有重要作用.针对古汉语文本中存在大量生僻汉字、语义模糊和复义等问题,提出了一种基于BERT古文预训练模型的实体关系联合抽取模型(entity relation joint extraction model based on BERT-ancient-Chinese pretrained model,JEBAC).首先,通过融合BiLSTM神经网络和注意力机制的BERT古文预训练模型(BERT-ancientChinese pre-trained model integrated BiLSTM neural network and attention mechanism,BACBA),识别出句中所有的subject实体和object实体,为关系和object实体联合抽取提供依据.接下来,将subject实体的归一化编码向量与整个句子的嵌入向量相加,以更好地理解句中subject实体的语义特征;最后,结合带有subject实体特征的句子向量和object实体的提示信息,通过BACBA实现句中关系和object实体的联合抽取,从而得到句中所有的三元组信息(subject实体,关系,object实体).在中文实体关系抽取DuIE2.0数据集和CCKS 2021的文言文实体关系抽取CCLUE小样本数据集上,与现有的方法进行了性能比较.实验结果表明,该方法在抽取性能上更加有效,F1值分别可达79.2%和55.5%.

基于BERT模型的空管危险源文本数据挖掘

由于危险源与安全隐患在民航安全管理工作中容易出现概念混淆和记录混乱的情况,根据双重预防机制管理规定,需要将两者区分开来。通过在ASIS系统上采集得到空管危险源控制清单作为研究对象,并对其进行相应的文本数据挖掘工作。根据危险源与安全隐患特点构建相应的文本分类模型:首先通过文本清洗、去停用词、Jieba分词等对空管危险源控制清单进行预处理,然后基于BERT模型生成词向量,采用BERT-Base-Chinese预训练模型进行预训练,并对模型进行微调超参数,最后结合Softmax分类器得到分类结果。

融合BERT和双向长短时记忆网络的中文反讽识别研究

用户对微博热点话题进行评论时会使用反语、讽刺的修辞手法,其本身带有一定的情感倾向会对情感分析结果造成一定影响。因此该文主要针对中文微博评论进行反讽识别,构建了一个包含反语、讽刺和非反讽的三分类数据集,提出一个基于BERT和双向长短时记忆网络(BiLSTM)的模型BERT_BiLSTM。该模型通过BERT生成含有上下文信息的动态字向量,输入BiLSTM提取文本的深层反讽特征,在全连接层传入softmax对文本进行反讽识别。实验结果表示,在二分类和三分类数据集上,提出的BERT_BiLSTM模型与现有主流模型相比准确率和F1值均有明显提高。

基于BERT-LDA的国外LIS领域学科交叉研究演化分析与前沿主题识别

识别学科交叉研究的前沿主题,并对演化趋势进行分析,有助于揭示学科交叉融合的方向,为未来创新性、突破性研究提供参考。首先,基于引文视角构建测度论文学科交叉性的指标,识别具有学科交叉性的研究论文;其次,通过BERT-LDA模型识别研究主题,利用余弦相似度计算主题之间的相似度,构建主题演化路径;最后,基于新颖度、增长性、关注度、影响力构建前沿主题识别指标体系,识别具有前沿性的学科交叉研究主题。以图书情报学(Library and Information Science,LIS)为例展开研究,研究结果显示,2004—2023年该学科领域的交叉研究主题呈现出逐渐细化和深入的特点,主要集中在信息挖掘与知识发现、互联网信息行为、医疗信息学3个方面;现阶段学科交叉研究前沿主题为医疗数据模型、舆情治理与情感分析、机器学习与深度学习;基于信息技术的研究方法和其在不同领域的应用研究具有良好的应用前景,有可能成为未来LIS领域的核心研究主题。

BTM-BERT模型在民航机务维修安全隐患自动分类中的应用

为界定民航机务维修安全隐患类别,实现安全隐患数据的自动分类,首先,利用构建的机务维修停用词库对安全隐患记录语料进行预处理。其次,运用词对主题模型(Biterm Topic Model,BTM)提取主题和关键词,确定了“员工未按规定对工作现场进行监管”等12类安全隐患。最后,根据BTM主题模型标注的数据集对算法进行微调,构建了基于变换器的双向编码(Bidirectional Encoder Representations from Transformers,BERT)算法的机务维修安全隐患记录自动分类模型,并与传统的分类算法进行对比。结果表明:所构建的模型可以实现民航机务维修安全隐患自动分类,其效果远高于传统机器学习支持向量机算法的效果,构建的分类模型的精确率、召回率和F 1较文本卷积神经网络算法分别提升了0.12、0.14和0.14,总体准确率达到了93%。

基于BERT与生成对抗的民航陆空通话意图挖掘

针对民航陆空通话领域语料难以获取、实体分布不均,以及意图信息提取中实体规范不足且准确率有待提升等问题,为了更好地提取陆空通话意图信息,提出一种融合本体的基于双向转换编码器(bidirectional encoder representations from transformers,BERT)与生成对抗网络(generative adversarial network,GAN)的陆空通话意图信息挖掘方法,并引入航班池信息对提取的部分信息进行校验修正,形成空中交通管制(air traffic control,ATC)系统可理解的结构化信息。首先,使用改进的GAN模型进行陆空通话智能文本生成,可有效进行数据增强,平衡各类实体信息分布并扩充数据集;然后,根据欧洲单一天空空中交通管理项目定义的本体规则进行意图的分类与标注;之后,通过BERT预训练模型生成字向量并解决一词多义问题,利用双向长短时记忆(bidirectional long short-term memory,BiLSTM)网络双向编码提取上下句语义特征,同时将该语义特征送入条件随机场(conditional random field,CRF)模型进行推理预测,学习标签的依赖关系并加以约束,以获取全局最优结果;最后,根据编辑距离(edit distance,ED)算法进行意图信息合理性校验与修正。对比实验结果表明,所提方法的宏平均F_(1)值达到了98.75%,在民航陆空通话数据集上的意图挖掘性能优于其他主流模型,为其加入数字化进程奠定了基础。

基于Bert的合同文本实体识别

智慧合同发展的基础性任务就是对合同实体要素进行命名实体识别研究。论文通过人工订制标注规则,构建了包括合同名称、包装条款、验收条款、违约条款等23类实体的合同数据集;对于构建好的合同数据集,采用Bert-BiLSTM-CRF神经网络模型进行训练,通过对比23个合同要素的识别结果,以及与经典的神经网络模型进行对比实验结果表明,论文所用模型能够更加有效地应用于合同文本实体识别的任务。

基于LDA-BERT相似性测度模型的文本主题演化研究

文章针对LDA主题模型在提取文本主题时忽略文本语义关联的问题,提出基于LDA-BERT的相似性测度模型:首先,结合利用TF-IDF和TextRank方法提取文本特征词,利用LDA主题模型挖掘文本主题;其次,通过嵌入BERT模型,结合LDA主题模型构建的主题-主题词概率分布,从词粒度层面表示主题向量;最后,利用余弦相似度算法计算主题之间的相似度。在相似性测度模型基础上构建向量相似度指标分析文献研究主题之间的关联,并绘制主题演化知识图谱。通过智慧图书馆领域的实证研究发现,使用LDA-BERT模型计算出的主题相似度结果相较于LDA主题模型的计算结果更加准确,与实际情况更相符。

基于BERT和图注意力网络的篇章级事件论元识别

事件论元识别是事件抽取的子任务之一,其目的在于识别文本中与事件相关的论元及论元对应的论元角色。研究表明,句子的依存句法关系有助于事件论元任务识别,然而,在构造篇章的依存句法关系时容易引入不相关的论元产生噪声问题,现有方法对噪声问题处理不佳。针对该问题,提出了一个基于BERT和图注意力网络的篇章级事件论元识别模型。该模型从两个角度去解决噪声问题,一方面,通过获取充分的篇章语义特征作为辅助,去构建更有效的篇章依存句法特征;另一方面,采用图注意力网络对不同的论元节点分配不同的权重,从而去除掉无效的论元。在RAMS语料库上的实验结果表明,该方法有效解决了篇章依存句法关系中存在的噪声问题,取得了较好的篇章级事件论元识别结果。

基于BERT模型的暗网犯罪情报挖掘技术研究

实现暗网违法犯罪情报的规模化产出是打击暗网违法犯罪的一项重要前置任务。当前研究较难解决暗网数据量不足的问题,且主要针对西文暗网数据进行。为实现中文暗网文本的针对性分析,提出了一种基于多任务学习的BERT-BiLSTM违法犯罪分类和命名实体识别多任务学习模型,其在文本分类和命名实体识别任务间共享BERT-BiLSTM层,并分别采用全连接层和条件随机场(CRF)层作为文本分类和实体识别的输出层,以加强不同任务间的知识共享。在自建的中文暗网数据集上的实验结果表明,该多任务学习模型相比基线模型在两类任务上均有一定性能提升。

基于知识蒸馏改进双路BERT的经济类文本情感分析

在互联网时代,越来越多的财务公司选择在财经新闻平台上发表自己的见解,这些评论文本作为舆情的载体,可以充分反映财务公司的情绪,影响公众的投资决策和市场走势.情感分析为分析海量的经济类文本情感类型提供了有效的研究手段.但是,由于特定领域文本的专业性和大标签数据集的不适用性,经济类文本情感分析给传统的情感分析模型带来了巨大的挑战.当将一般情感分析模型应用于经济等特定领域时,模型在准确率与召回率上表现较差.为了克服这些挑战,文章针对财经新闻平台上的经济类文本的情感分析任务,从词表示模型出发,提出了基于知识蒸馏方法的双路BERT(Two-way BERT based on knowledge distillation method)情感分析模型,与文本卷积神经网络(Text-CNN)、卷积递归神经网络(CRNN)、双向长时和短时记忆网络(Bi-LSTM)等算法进行对比实验,结果得出该改进方法相较于其他算法在准确率、召回率和F1值均提升了1%~3%,具有较好的泛化性能.

基于掩码语言模型的中文BERT攻击方法

对抗文本是一种能够使深度学习分类器作出错误判断的恶意样本,敌手通过向原始文本中加入人类难以察觉的微小扰动制作出能欺骗目标模型的对抗文本.研究对抗文本生成方法,能对深度神经网络的鲁棒性进行评价,并助力于模型后续的鲁棒性提升工作.当前针对中文文本设计的对抗文本生成方法中,很少有方法将鲁棒性较强的中文BERT模型作为目标模型进行攻击.面向中文文本分类任务,提出一种针对中文BERT的攻击方法Chinese BERT Tricker.该方法使用一种汉字级词语重要性打分方法——重要汉字定位法;同时基于掩码语言模型设计一种包含两类策略的适用于中文的词语级扰动方法实现对重要词语的替换.实验表明,针对文本分类任务,所提方法在两个真实数据集上均能使中文BERT模型的分类准确率大幅下降至40%以下,且其多种攻击性能明显强于其他基线方法.

基于BERT和TextCNN的智能制造成熟度评估方法

随着智能制造2025目标的临近,企业为了解自身能力水平纷纷加入到智能制造成熟度评估的行列中。然而,由于智能制造成熟度评估标准的复杂性,企业缺乏其对行业水平的了解,导致企业贸然申请,浪费自身时间的同时又占用大量评估资源。鉴于此,设计了一种新的评估流程,采用文本处理算法对整个评估过程进行了重构,通过利用国标文件中智能制造成熟度评估标准,将其作为训练集,采用基于预训练语言模型与文本神经网络(BERT+TextCNN)相结合的智能评估算法代替人工评估。在真实的企业智能制造数据集上的验证表明,当BERT+TextCNN评估模型在卷积核为[2,3,4]、迭代次数为6次、学习率为3e-5时,对智能制造成熟度进行评估,准确率达到85.32%。这表明所设计的评估方法能够较准确地帮助企业完成智能制造成熟度自评估,有助于企业了解自身智能制造能力水平,制定正确的发展方向。