基于BERT提示的矿产资源管理规则检测方法研究

政策文本中管理规则检测是一个新兴的自然语言处理任务,在政策冲突检测、政策智能检索、事项合规性检查以及政务系统需求工程等方面具有重要应用价值。本文以矿产资源管理规则检测为研究目标,提出基于转换器的双向编码表征(BERT)提示的政策文本管理规则检测方法。该方法通过构建融入管理规则信息、带有[MASK]标记的提示模板,可以充分发挥掩码语言模型的自编码优势,有效激发BERT模型提取与管理规则相关的文本特征,增加模型稳定性;提出基于BERT模型进行管理规则检测的新应用模式,放弃使用[CLS]隐向量而采用[MASK]隐向量进行分类预测;在矿产资源管理规则数据集上的实验结果表明,该方法的准确率、宏平均F_(1)值、加权平均F_(1)值均优于基线方法,在公开数据集上的实验结果也表明了该方法的有效性。

基于情绪分析的生产安全事故政府责任公众感知偏差研究

为强化政府安全生产监督及行政问责公正机制,提升生产安全事故协同治理能力,利用文本挖掘技术从个体和场域2个层面出发,探索生产安全事故政府责任的公众感知偏差形成机理和影响因素。通过公众责任感知双向编码转换器(BERT-PPR)预测事故微博评论的情绪和归责类型,对比事故调查结果得到政府责任的公众感知偏差,并基于二元逻辑回归考察事故信息和微博报道对感知偏差的影响。研究结果表明:采用政府形象框架以及调查结果公布阶段引发政府舆情危机的风险更高;责任人宣判阶段公众更易误判政府有责。行业、阶段、等级、形式、框架因素对生产安全事故政府责任公众感知偏差的影响不同,应采取对应措施,进而纠正相关偏差。研究结果可为安全生产领域内相关政策调整提供参考。

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征(BERT)预训练模型、双向长短期记忆(BiLSTM)网络和注意力机制的模型IoMET_BBA.通过合成少数类过采样技术(SMOTE)与探索性数据分析(EDA)技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类.对比实验的结果表明,IoMET_BBA的F1度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.

基于BERT-CNN的中文评论文本情感分析

对中文酒店评论文本,CNN、BIGRU等模型无法充分获得文本上下文之间的关系,因此在情感分析上没有很好的效果。BERT模型提出后,它在文本上下文之间的关系的提取上有着很大的优势。以此为基础,本文提出一种基于预训练的(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN模型得到酒店评论中更多的情感信息。首先利用BERT模型对评论文本信息编码,再通过CNN模型提取局部特征,最终提取语义。最后通过实验来将该模型与现有模型进行比较,在酒店评论数据集上所做的实验充分表明该方法能更准确地进行中文文本情感分析。

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型(Multi-level Convolutional Neural Network,MCNN),该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。

基于BERT的中文健康问句分类研究

现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性。对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取平均并与BERT句子级特征的输出进行拼接,然后使用分类器进行分类。实验结果表明,本模型可以有效地提高模型提取特征的能力,在处理Kesci公众健康问句分类数据集上F1值达到83.92%,在处理中文健康公众问句数据集时F1值达到87%。

基于BERT模型的智能数据分析技术

面对日趋增长的数据分析需求,以人工编写SQL方式进行数据分析已无法满足要求,而基于自然语言交互界面的数据分析已成为发展趋势。文章提出了一种基于来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)模型的智能数据分析技术,相对于Word2Vec/全局唯一标识分区表(Globally Unique Identifier Partition Table,GPT)等模型,大幅提升了自然语言到SQL转换的准确率,使自然语言交互式数据分析准确率超过人工编写SQL的方式。

基于情绪分析的事故风险感知偏差研究

为探索公众对安全事故的风险感知,运用文本挖掘技术获得事故微博评论数据,采用中文风险感知双向编码转换器(BERT-RPC)识别惊讶和恐惧情绪,以频率惊讶测量事故概率感知偏差,以恐惧和损失惊讶测量事故损失感知偏差,基于二元逻辑回归考察微博形式和内容对风险感知的影响。结果表明:低估安全事故风险的现象普遍存在,且对事故损失的低估更为突出;基于BERT-RPC模型的“抓取-分析”技术能够高效、低延迟地实现全网公众的风险感知偏差监测;交通行业的事故概率、损失被严重低估;一般事故的概率和特大事故的损失被严重低估;事故图片和视频有助于纠正事故损失的感知偏差,但对概率感知偏差作用有限;事故爆发初期报道对公众风险感知纠正效果最佳,调查结果公布和责任人宣判阶段次之。

面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.

融合汉字字形信息的文本关系抽取

关系抽取任务旨在从文本中抽取实体对之间的关系,是当前自然语言处理领域的热门方向之一.由于中文具有复杂的句式和语法,导致现有的神经网络提取的特征以及语义表示能力较差,从而影响中文关系抽取的性能.汉字是象形文字,其字形结构在一定程度上隐含了字义,为此提出了包含字形级别实体表示的BERT_BIGRU_Glyph模型.模型中选用基于转换器的双向编码表征(BERT)为预训练模型、双向门控循环单元(BI-GRU)获取句子上下文表示.实体由字级表示和实体字形级表示共同构成,在实体字形表示中嵌入了BERT、BERT_CNN和BERT_BI-GRU三种提取字形特征的策略来丰富实体语义信息.实验结果表明:所提出的模型在实体字形相似的关系抽取中性能更优.

需求驱动的云平台产品关键设计特征识别方法

为完善云服务平台产品设计知识发现系统,同时进一步提升需求与服务的匹配效率,提出一种基于转换器的双向编码表征(BERT)和随机Lasso的产品关键设计特征识别方法。首先,实验采用真实产品用户反馈数据集并对其进行人工标注,以BERT预训练语言模型为基础,建立输出层以训练设计领域命名实体识别模型,实现对显性设计特征的自动识别。实验表明,所提方法可以实现较好的性能,精确率、召回率、F1分数分别为90.55%、97.16%和93.68%。同时,提出一种知识迁移思想,在当前大数据环境下,利用随机Lasso算法挖掘其中蕴含的关键设计特征并加以重用,实现了对隐性设计特征的精确定位。

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.

基于图神经网络和BiGRU的商品推荐模型

个性化推荐是互联网经济的核心竞争力。为了解决推荐系统中数据稀疏性问题,提出基于图神经网络和BiGRU的商品推荐模型。该模型先利用来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)模型进行预训练,再结合BiGRU与注意力机制提取评论文本的特征,并利用图神经网络提取用户与商品的高阶交互关系,最后将两种特征向量进行拼接以实现推荐预测。在多个亚马逊公开数据集上进行实验,使用均方误差(Mean Square Error,MSE)作为评价指标。实验结果表明,与已有的优秀基准模型相比,该模型有效提高了预测精度。

基于对比学习和预训练模型的临床诊断标准化

针对临床诊断标准化任务中存在的标准诊断词库规模大、文本相关性不显著且标准词个数不确定的问题,提出一种基于对比学习和预训练模型的临床诊断标准化方法.先用无监督和有监督相结合的方法对基于简单对比学习的句子嵌入(SimCSE)模型进行训练,并利用得到的模型从标准库中召回候选标准词,再利用基于转换器的双向编码表征(BERT)进行候选词重排序和标准词个数分类,最终得到标准化结果.实验结果表明:基于无监督和有监督相结合的SimCSE方法的召回率为86.76%,显著优于其他方法;在重排序和标准词个数分类任务中,相比于其他模型,BERT在多个指标上有明显提升;该方法在测试集上进行标准词预测的F1值达到72.54%,在临床诊断标准化中具有较好的表现.

基于人工智能算法的商品归类研究与应用

准确高效的商品归类有助于进出口企业提升通关速度、降低通关成本。为帮助进出口企业传统商品归类在效率和准确率等方面实现进一步提升,本文利用企业申报数据,构建了基于双向转换编码器表征(Bidirectional Encoder Representations from Transformers,BERT)与文本卷积神网络(Text Convolutional Neural Network,Text CNN)联合模型的商品归类算法,并完成归类系统开发及验证。以企业实际商品申报数据进行测试,归类准确率达95%以上,取得了较好的应用效果。

基于BERT-BiLSTM-CRF的法律案件实体智能识别方法

在智能法务系统应用中,人工智能自然语言处理相关技术常采用静态特征向量模型,算法效率低,精度偏差较大。为了对法律文本中的案件实体进行智能识别,提高案件的处理效率,针对动态字向量模型提出以基于转换器的双向编码表征模型作为输入层的识别方法。在其基础上通过融合双向长短期记忆网络和条件随机场模型,构建了高精度的法律案件实体智能识别方法,并通过实验验证了模型的性能。

基于数据增强和字词融合特征的实体槽位识别

针对传统的基于字级表示的实体槽位识别模型无法很好利用词语信息,以及信息技术(IT)运维领域缺少足够数量公开数据集的问题,提出一种基于BERT_Word2vec_BiLSTM_CRF模型的实体槽位识别方法,并通过数据增强对模型的训练数据集进行扩展.该模型将基于转换器的双向编码表征(BERT)模型得到的字向量表示和Word2vec得到的词向量表示进行融合,通过双向长短时记忆(BiLSTM)网络进行上下文编码,通过条件随机场(CRF)进行解码,得到最终的序列标注结果.通过在某企业提供的数据集上进行实验,结果表明:融合词级特征可以在BERT预训练模型的基础上进一步提升识别性能,F_(1)值达到了92.33%.