基于BERT模型的空管危险源文本数据挖掘

由于危险源与安全隐患在民航安全管理工作中容易出现概念混淆和记录混乱的情况,根据双重预防机制管理规定,需要将两者区分开来。通过在ASIS系统上采集得到空管危险源控制清单作为研究对象,并对其进行相应的文本数据挖掘工作。根据危险源与安全隐患特点构建相应的文本分类模型:首先通过文本清洗、去停用词、Jieba分词等对空管危险源控制清单进行预处理,然后基于BERT模型生成词向量,采用BERT-Base-Chinese预训练模型进行预训练,并对模型进行微调超参数,最后结合Softmax分类器得到分类结果。

基于BERT模型的源代码漏洞检测技术研究

源代码漏洞检测常使用代码指标、机器学习和深度学习等技术.但是这些技术存在无法保留源代码中的句法和语义信息、需要大量专家知识对漏洞特征进行定义等问题.为应对现有技术存在的问题,提出基于BERT(bidirectional encoder representations from transformers)模型的源代码漏洞检测模型.该模型将需要检测的源代码分割为多个小样本,将每个小样本转换成近似自然语言的形式,通过BERT模型实现源代码中漏洞特征的自动提取,然后训练具有良好性能的漏洞分类器,实现Python语言多种类型漏洞的检测.该模型在不同类型的漏洞中实现了平均99.2%的准确率、97.2%的精确率、96.2%的召回率和96.7%的F1分数的检测水平,对比现有的漏洞检测方法有2%~14%的性能提升.实验结果表明,该模型是一种通用的、轻量级的、可扩展的漏洞检测方法.

基于改进BERT模型的连续血压的预测方法研究

目前高血压已成为严重危害全球公共健康的重大问题。区别于传统的侵入式和袖带法的血压测量方式,为实时监测血压并助力早期诊断,本文专注于研究脉搏波波形与血压之间的内在关系,并提出了一种使用脉搏波的基于改进BERT(Bidirectional encoder representationns from transformers)模型的血压预测方法。方法首先应用巴特沃斯滤波器对原始脉搏波信号进行滤波预处理并周期性划分,然后结合深度学习技术,采用改进后的BERT模型,对划分后的脉搏波周期数据进行特征提取和分析。为验证本方法预测的有效性和准确性,采用MIMIC-Ⅲ数据库的数据进行实验。实验结果表明,本方法可以有效预测血压值,完全满足英国高血压学会的A类标准。通过深入研究脉搏波与血压的关系,本文改进BERT模型为高血压的预测与诊断提供了新的技术手段。

基于BERT模型的网络文本地理信息命名实体识别

随着互联网的快速发展,网络文本蕴含的地理信息日益丰富。由于网络文本具有数量庞大、动态性强的特点,地理实体的种类和数量也在激增。然而,现有的地理信息命名实体识别研究能够识别的实体类型极其有限。针对此问题,将BERT-BiGRU-CRF模型作为命名实体识别模型,以地理信息领域学术论文作为知识库来源,对行政区划实体、林地实体、交通实体及水域实体进行识别。实验结果表明,该模型在上述四种实体识别任务中取得的F1值均超过了90%,其中行政区划实体识别的效果最佳。模型整体F1值达到92.26%,优于传统的命名实体识别模型BiGRU、CRF及BiGRU-CRF模型。

云计算中基于BERT模型的文本分析与处理

本研究针对云计算环境中文本处理的需求,提出了一种基于双向编码器表示转换器(bidirectional encoder representation from transformers,BERT)的并行化方法。首先,介绍了BERT模型的基本原理以及编码器组成的Transformer结构,并对文本进行标记化和上下文建模的机制;其次,本研究关注文本在云计算环境下的处理效率,提出了一种并行化的BERT模型优化策略,并通过对文本进行预处理、分割和标记化,实现了对BERT模型的并行计算,以提高在大规模文本数据上的计算效率;最后,为验证所提出方法的有效性,本文选用了CoNLL2003数据集进行实验。实验结果表明,相较于串行模型,并行BERT模型在准确率、召回率和F1值上均有显著提升,其优于串行模型的原因包括计算效率提升、全局上下文建模、资源利用率提高和更强泛化能力等方面。

语义相似度与BERT模型融合的多标签文本自适应分类方法

针对文本搜索需求难以判断、文本难以分类的问题,研究语义相似度与双向语言编码器(BERT)模型融合的多标签文本自适应分类方法。先预处理文本并确定文本表示形式,基于信息增益理论提取并降维处理文本特征,依据语义相似度理论计算文本之间相似度,再引入BERT模型搭建多标签文本自适应分类框架,通过对抗训练获取模型最佳参数,将待分类文本输入至训练好文本分类BERT模型中,即可实现多标签文本的自适应分类。实验数据显示应用提出方法获得F 1参量大于给定最小限值,汉明损失参量HL小于给定最大限值,充分证实了提出方法文本分类效果较佳。

基于Bert模型对不完整事件日志的多属性修复

流程挖掘是从事件日志中自动构建流程模型,并利用其分析、增强、监测实际的业务流程.然而不完整的事件日志会严重影响流程挖掘的结果.因此,修复事件日志是提高过程挖掘结果准确性的举措之一.现有的修复事件日志技术主要修复事件日志中的缺失活动,很少考虑修复日志中多个缺失的属性.现实中日志除了活动缺失,还存在属性缺失现象.针对此问题,提出了一种基于Bert的神经网络模型,用来修复事件中多个属性的缺失.该方法从数据的角度出发,通过Bert模型的预训练任务学习事件中属性之间的依赖关系,根据属性的前后文信息预测缺失的属性值.最后使用公开可用的真实事件日志对所提出的方法进行实验评估,评估结果表明本文所提出方法可以修复事件日志中多属性的缺失,且验证了该方法的准确性.

基于BERT模型的航空评论数据情感分析研究

在航空服务的选择过程中,用户通常通过查看海量评论信息进行判断。然而,随着评论数据剧增和数据采集手段的提升,如何快速从评论中提取有效用户情感信息的难度也不断上升。基于BERT模型设计出一种针对航空评论数据的情感分析方法。在真实的航空评论数据集上,该方法准确率能够达到0.8141,可在一定程度上降低购票风险,提升航空公司服务质量。

基于BERT模型的电网基建工程知识图谱特征提取方法

由于电网基建工程涉及因素较多,导致在对其知识图谱特征进行提取时,F1值难以得到保障,为此,本文章提出基于BERT模型的电网基建工程知识图谱特征提取方法研究。以RDF模型为基础,构建了以三元组为基本单元的电网基建工程知识图谱模型;通过关系(即边)之间的联系,实现对电网基建工程知识图谱目标特征的有效提取。在测试结果中,设计方法对于不同特征,对应的提取结果F1值基本稳定在0.90以上,最大值达到了0.94,与对照组相比,在稳定性和有效性方面具有较为明显的优势。

基于BERT模型的自动问答系统的设计与实现

为解决在线课程学习过程中所遇问题得不到及时解答的情况,设计并实现在线课程自动问答系统。首先收集课程中真实问题作为训练数据集,其次基于BERT模型构建双塔神经网络模型,将问题成对输入模型,以语义相似问题的特征向量尽可能相似为训练目的。训练模型中的参数后,准确率和F1-Score性能指标上的值分别达到0.931和0.918。使用训练好的模型将问题集和学习者提出的问题都转为特征向量,使用Faiss召回问题特征向量集中与学习者的问题最相似的问题,最后返回最相似的问题所对应的答案。系统具有较高的准确性和有效性,能够为在线课程学习提供支持。

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差,无法解决训练数据类别数量不均衡和分类难易不均衡等问题,提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表,提升了BERT模型的领域适应性;其次,通过建立的BERT-BiLSTM模型实现服务文本分类;最后,针对数据集的类别数量不均衡和分类难易不均衡问题,在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能,在互联网获取的真实数据集上进行了大量对比试验,实验结果表明:WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比,WBBI模型具有更快的收敛速度和更好的分类效果。

社交网络内容用户“茧房趋同性”——基于BERT模型的新浪微博样本研究

网络个性化信息消费时代,信息茧房带来的社会文化风险受到广泛关注。在“千人千面”的个性化表层之下,陷入“茧房”是让用户走向内容趋同还是趋异,是具有争议的学术命题和亟需检验的现实问题。基于BERT模型,以新浪微博用户(N=2 143)为样本,实证检视社交网络内容生产中的用户“茧房趋同性”现象。主要研究发现:(1)任意两个用户的内容相似程度,能够通过彼此的“茧房”程度予以表达和预测;(2)“茧房”程度越高的用户彼此的内容相似程度越高,“茧房”程度差异越大的用户彼此的内容相似程度越低。结果从相似关系视角拓展和反思对信息茧房的认知,有助于深入刻画社交媒体UGC用户趋同背后的复杂机制和实践问题。

基于BERT模型的糖尿病在线健康社区命名实体识别

为了解决糖尿病患者-患者在线健康社区文本实体识别中的内容异质、复杂度高、无法准确理解上下文语义等问题,构建了BERT嵌入BiLSTM-CRF模型,来识别糖尿病社区“甜蜜家园”文本中的疾病、临床表现、药物、检验、身体部位和情绪这6类实体.训练过程中,BERT-BiLSTM-CRF模型的精确率为90.83%,召回率为76.30%,综合评估指标F1达到82.93%,显示出良好的识别效果.

基于机器学习的新闻论证结构研究——以Bert模型与主流媒体新闻评论为例

新闻报道是叙述新闻事实的文本,评论是对新闻事实进行论证的文本。新闻评论相较于新闻报道更直接表达立场、价值与意识形态,为新闻学研究提供了丰富的文本资源,对新闻论证的研究也存在较广阔的理论创新空间。本文以图尔敏模型为基础,形成一套测量新闻评论的量表,同时使用人工编码的方式处理多篇中央主流新闻媒体的新闻评论文本,形成6109个编码单元。使用机器学习算法(基于Bert模型),以监督学习的方式使机器探索并掌握人工编码的规则。机器学习共有4个独立任务,使用4个学习模型,最终调和准确率(f1 score)分别为95.758%、63.901%、83.794%和84.766%,学习效果整体较优。本文为进一步探索新闻论证提供了工具,以实现对新闻评论更广泛与深入的研究。

利用Bert模型实现电力安全规程数据中实体关系抽取

引入句袋注意力机制,对电力安全规程领域数据集进行预处理,以减小数据集中噪声对实验的影响。使用Bert模型对文本进行词嵌入处理;使用Bi LSTM和CRF算法抽取实体之间的关系。在自有电力安全规程数据集上测试,测试F1值达到91.5%,该结果说明模型有效。

基于Bert模型的垃圾短信识别研究

针对现有垃圾短信识别方法,在复杂场景中特征表示效率低的问题,提出文本预处理结合Bert模型的垃圾短信识别方法。首先对数据集进行预处理,消除冗余信息对分类器的影响,然后将预处理后的数据按8:1:1比例划为训练集,交叉验证集和测试集三类。将Bert模型引入垃圾短信识别分类场景,利用动态掩码提高了文本特征表征能力。实验结果表明,本文提出的垃圾短信识别方法具有较好的识别效果。

基于BERT模型的方面级情感分析

针对传统的方面级情感分析模型不能很好表征深层次的字词向量信息,且无法解决该领域由于人工标注的高成本方法,使得数据集普遍较少而导致的分类效果较差的问题,提出BERTDTL-HAN方面级情感分析模型。模型通过BERT结构在获得含有丰富语义信息字词向量信息的同时,结合深层次迁移学习和层次注意网络机制将数据量大的句子级别情感分析数据集,通过单词编码层和片段编码层两个维度深层迁移到数据量小的方面级情感分析任务中,并在三个领域的数据集上进行实验。对比该领域内的三个最佳基准模型,其准确率分别提升1.40%、0.96%和0.93%。

虚假评论对于产品购买意愿的影响--基于BERT模型的用户评论研究

Web 2.0时代,消费者对产品或服务的在线评论逐渐受到商家的重视,许多商家也开始通过制造虚假评论的方式主动影响消费者购买意愿。在这个背景下,从天猫商城收集到大量美妆产品和数码产品的评论数据,引入BERT模型对评论进行分类,识别出真实评论及虚假评论,进而讨论虚假评论对于消费者购买意愿的影响。研究发现:消费者在选购体验品时,虚假评论会对消费者的购买决策产生显著影响。在消费者选购搜索品时,虚假评论则不会产生显著影响。归纳了虚假评论的主要特点,为消费者识别虚假评论提供了方法,同时实证研究结果也表明,许多电商卖家操纵评论的行为是无意义的,并不能正面影响其效益。

基于BERT模型的中文新闻文本分类应用

AI赋能的互联网时代,带来了新闻数据量的爆发式增长,从这些亿万级的新闻文本数据中,探索出具有价值的有效新闻是非常重要的研究。本文在THUCNeWs数据集上使用CNN、RNN和BERT三种深度学习模型开展实验,其中BERT模型的准确率为0.9872,F1为0.97657。最后将训练好的BERT模型利用Streamlit工具部署在WEB端,实现了一个简明实用的中文新闻分类应用程序。实验证明了BERT模型在新闻文本分类任务中具有很高的准确性,不论在简明或是复杂、长文本或是短文本的分类条件下都具有较高应用前景。

基于BERT模型的中文期刊文献自动分类实践研究

Google AI团队发布的BERT模型在多项自然语言处理任务中取得了研究成果,但在中文文献自动分类领域尚有待探索。本文旨在探索BERT;中文基础模型在中文社科、科技期刊文献分类上的实际分类效果,指出模型在实际应用中存在的问题并提出解决方法。本文选取R大类(医药、卫生)、TG大类(金属学与金属工艺)、F大类(经济)、J大类(艺术)共1 745 000条数据作为训练语料,并以另外9 610条数据作为测试样本,利用BERT模型分别对社科、科技期刊文献进行分类研究。测试结果表明BERT模型在社科文献中的四级准确率为76.95%,科技文献为68.55%。之后引入惩罚策略,为实际工作中免检数据阈值的设定提供参考。BERT;模型在《全国报刊索引》实际分类标引工作中有一定可行性,基本满足当前网络环境下中文文献自动分类的需求。