基于BERT预训练模型的教育装备供应链舆情报告系统

研究一种基于BERT预训练模型的教育装备供应链舆情报告系统,系统通过信息抽取技术从互联网环境的多源响应信息源中抓取舆情信息,并使用BERT预训练模型进行舆情分析,对系统核心构成“数据分析”模块进行了较为详细的介绍。实践证明,本系统可有效挖掘出数据背后的价值,帮助用户快速获取丰富且准确的信息。

基于BERT古文预训练模型的实体关系联合抽取

古汉语文本承载着丰富的历史和文化信息,对这类文本进行实体关系抽取研究并构建相关知识图谱对于文化传承具有重要作用.针对古汉语文本中存在大量生僻汉字、语义模糊和复义等问题,提出了一种基于BERT古文预训练模型的实体关系联合抽取模型(entity relation joint extraction model based on BERT-ancient-Chinese pretrained model,JEBAC).首先,通过融合BiLSTM神经网络和注意力机制的BERT古文预训练模型(BERT-ancientChinese pre-trained model integrated BiLSTM neural network and attention mechanism,BACBA),识别出句中所有的subject实体和object实体,为关系和object实体联合抽取提供依据.接下来,将subject实体的归一化编码向量与整个句子的嵌入向量相加,以更好地理解句中subject实体的语义特征;最后,结合带有subject实体特征的句子向量和object实体的提示信息,通过BACBA实现句中关系和object实体的联合抽取,从而得到句中所有的三元组信息(subject实体,关系,object实体).在中文实体关系抽取DuIE2.0数据集和CCKS 2021的文言文实体关系抽取CCLUE小样本数据集上,与现有的方法进行了性能比较.实验结果表明,该方法在抽取性能上更加有效,F1值分别可达79.2%和55.5%.

基于BERT的青少年心理健康预警模型

目的:设计并训练一个青少年心理健康预警模型,通过对青少年心理健康调查问卷或心理日记等文本数据进行分析,及时发现并预警青少年存在的心理问题。方法:基于BERT预训练模型,构建基于青少年身心健康的预警模型,利用青少年心理健康调查问卷数据和心理论坛上抓取的资料,对模型进行增强训练和微调,从而实现对心理健康相关信息的文本分析和预警,有效和迅速地发现青少年群体中的心理问题。结果:实验结果表明,基于BERT的青少年心理健康预警模型在分类任务中展现出优异的性能。经过增强训练后的BERT模型分类准确率达到了88.21%,与传统的MLP、SVM、LSTM模型相比,在准确率和召回率等关键指标上有显著提升。结论:本研究提出的预警模型为心理健康评估提供了科学而便捷的方法,能有效提升对青少年心理状态评估的准确性,适用于医院、学校和家庭等多种场景。未来将进一步优化模型,以应对更加复杂和多样化的数据挑战。

基于预训练的两段式自动文本摘要研究

主要通过从源文中抽取重要语句组成摘要,该方式会存在词语冗余、可读性差的不足;生成式摘要则尝试通过创造新的词语来构建摘要,可能会引发语义不连贯和逻辑性差的挑战。针对以上两种方式存在的问题,提出一种基于预训练的两阶段式的自动文本摘要模型。该模型融合抽取式和生成式的方法,首先,模型通过预训练模型BERT获取文本向量,再通过抽取式图结构中所蕴含的关系显示指导摘要生成,然后将抽取的输出当作生成模型的输入,同时结合指针网络和覆盖机制解决训练过程中的未登录词(OOV)问题和重复生成问题。通过整合上述步骤,最终获得的摘要在CNN/Daily Mail数据集上展现出良好的效果,在ROUGE-1、ROUGE-2和ROUGE-L这三个指标上均有显著提升。

基于BERT的农作物命名实体识别模型研究

随着数字农业的快速发展,农作物命名实体识别作为农业领域知识图谱构建的基础,成为一种高效率的农作物研究领域识别方法。由于农作物实体识别呈现结构复杂、实体指称不一致、干扰因素多等特征,严重制约了农作物领域实体识别的性能,提出一种基于预训练语言模型的实体识别模型,使用BERT为文本中词进行编码、采用双向LSTM(Long-Short Term Memory)获取句子中关键词的上下文,采用CRFs(Conditional Random Fields)捕获词之间的依赖关系,并结合所构建的农作物命名实体识别数据集进行验证。实验证明该模型能够有效对农作物实体进行识别,且性能优于当前已有的实体识别模型。

基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F_(1)值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。

基于BERT-CRF模型的缅甸语韵律单元边界预测

近年来,缅甸语语音合成引起了众多学者的关注,然而该技术的性能离推广应用还有一段距离。本文以提升缅甸语语音合成自然度作为目标,研究缅甸语韵律特征,探索通过缅甸语文本自动预测韵律单元边界的方法。本文提出并实现了一种基于BERT预训练模型和条件随机场(CRF)模型相结合的缅甸语韵律词和韵律短语边界预测方法。实验结果表明,采用BERT-CRF模型,韵律词和韵律短语的预测效果均优于CRF、BiLSTM、BiLSTM-CRF以及BERT模型。为了验证该方法的可用性,本文还将本文所提出的方法应用于语音合成前端文本分析与处理中。语音合成实验结果表明,本文所提方法能有效提高缅甸语语音合成的自然度。

基于BERT-Bi-IAN的方面级情感分析模型

为进一步提高情感识别的准确率,提出了一种基于BERT预训练模型的交互式情感分析模型——BERT-Bi-IAN模型。首先利用BERT预训练模型分别动态表示评价对象及其上下文,然后通过Bi-LSTM网络提取二者的语义信息,随后输入交互式注意力模块,得到二者的交互关系与提取到的语义信息重组评价对象及其上下文的最终表示。模型在中英文数据集中的实验表现证明了与现有经典模型相比,其准确率和F1值有所提升,表明该模型有较大的适用领域。

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分:文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。

基于对span的预判断和多轮分类的实体关系抽取

针对自然语言处理领域中的实体识别和关系抽取任务,提出一种对词元序列(Token Sequence,又称span)进行预测的模型Smrc。模型整体上利用BERT预训练模型作为编码器,另外包含实体预判断(Pej)、实体多轮分类(Emr)和关系多轮分类(Rmr)3个模块。Smrc模型通过Pej模块的初步判断及Emr模块的多轮实体分类来进行实体识别,再利用Rmr模块的多轮关系分类来判断实体对间的关系,进而完成关系抽取任务。在CoNLL04、SciERC和ADE 3个实验数据集上,Smrc模型的实体识别F1值分别达到89.67%,70.62%和89.56%,关系抽取F1值分别达到73.11%,51.03%和79.89%,相较之前在3个数据集上的最佳模型Spert,Smrc模型凭借实体预判断和实体及关系多轮分类,在2个子任务上其F1值分别提高了0.73%,0.29%,0.61%及1.64%,0.19%,1.05%,表明了该模型的有效性及其优势。

基于BERT的煤矿事故风险LEC评价与优化研究

为了提高煤矿事故安全评价的准确性和客观性,针对煤矿安全风险评估中常用的LEC评价法可能出现的不客观以及评价过程中L值评价过于复杂的现状,提出了一种基于BERT预训练模型代替人工进行打分并对L值的评价指标进行优化的方法。通过专家打分的事故分析对模型进行训练,得到预测模型,利用预测模型对需要评价的数据进行预测打分,再结合优化后的L值公式得到事故发生可能性的分值。研究结果表明:BERT模型在经过训练后预测效果较好,与专家判断指标的综合重合度高达92.09%,且改良后的L值判断公式综合了环境物体因素、施工操作人员因素和安全管理因素,在判断时可以较为客观地体现出潜在风险发生的可能性,该研究为煤矿行业中作业条件的危险性评估提供了一种新的思路和方法。

基于BERT和TextCNN的智能制造成熟度评估方法

随着智能制造2025目标的临近,企业为了解自身能力水平纷纷加入到智能制造成熟度评估的行列中。然而,由于智能制造成熟度评估标准的复杂性,企业缺乏其对行业水平的了解,导致企业贸然申请,浪费自身时间的同时又占用大量评估资源。鉴于此,设计了一种新的评估流程,采用文本处理算法对整个评估过程进行了重构,通过利用国标文件中智能制造成熟度评估标准,将其作为训练集,采用基于预训练语言模型与文本神经网络(BERT+TextCNN)相结合的智能评估算法代替人工评估。在真实的企业智能制造数据集上的验证表明,当BERT+TextCNN评估模型在卷积核为[2,3,4]、迭代次数为6次、学习率为3e-5时,对智能制造成熟度进行评估,准确率达到85.32%。这表明所设计的评估方法能够较准确地帮助企业完成智能制造成熟度自评估,有助于企业了解自身智能制造能力水平,制定正确的发展方向。

基于BERT⁃BiLSTM⁃CRF的非法出入境笔录文本提取模型

为提高非法出入境笔录信息提取方面的命名实体识别能力,提出了一种融合语言模型的非法出入境笔录信息提取模型。该模型首先利用BERT模型对输入序列中的单词进行编码,得到每个单词的向量表示,然后将这些向量输入到BiLSTM网络中,利用LSTM网络对输入序列进行建模,学习输入序列中的上下文信息和语法结构等。最后,通过一个CRF层对BiLSTM网络的输出进行标注,从而得到最终的输出序列。实验结果表明,该模型能较好地应用于非法出入境笔录文本提取的任务。在与广西边防检查总站的合作项目里,最终将该模型应用于实际生产工作中,为边检警方的笔录提取工作提供便利。

采用BERT-BiLSTM-CRF模型的中文位置语义解析

针对利用当前神经网络模型进行中文位置语义解析存在多义词解析效果差、泛化能力差等问题,提出一种基于BERT-BiLSTM-CRF模型的中文位置语义解析方法。首先利用BERT预训练模型对中文位置信息进行预训练,获取所有层中的上下文信息,增强中文位置信息的语义表征能力,然后通过BiLSTM模型提取向量特征信息,最后通过CRF模型进行解码,获取全局最优标注序列。实验结果表明,在不同数量和区域的中文位置信息数据集基础上,BERT-BiLSTM-CRF模型在所有测试集上分词准确率与F1值都优于目前常用的神经网络模型,最高分别可达到93.91%和93.96%。利用BERT-BiLSTM-CRF模型对中文位置信息进行语义解析,不仅有效提高了中文位置信息解析与多义词解析的准确率,而且具有更好的泛化能力。

基于BERT-BiGRU-CRF与多头注意力机制的地理命名实体识别

地理知识图谱作为一种科学领域的知识图谱,从概念探讨和初步实验阶段快速发展为地理信息科学领域的跨学科研究热点。地理命名实体识别是地理知识图谱构建的基础,直接影响着地理知识图谱的构建效率与质量。设计了一个地理知识图谱应用管理系统,针对其中地理实体库构建过程依赖人工制定规则以及信息提取不充分等问题,面向地理知识图谱构建过程进行地理命名实体识别研究。首先,通过人工标注方法构建了一个地理知识语料库;其次,通过BERT预训练模型得到结合语境信息的动态字向量,利用双向门控循环单元提取全局语义特征,并基于注意力机制获得增强语义特征;最后,通过CRF解码输出概率最大的全局最优标签序列,实现地理命名实体的自动识别。实验结果表明,相比传统的BiLSTM-CRF、BERT-BiLSTM-CRF等模型,所提出的基于BERT-BiGRU-CRF与多头注意力机制的模型在地理命名实体识别任务中表现更优,能够为地理知识图谱构建提供有效支撑。

基于BERT-BiGRU集成学习的情感语义识别

如今,在社交网络上发表评论已成为公众对社会现象表达态度和立场的主要方式。精准识别社交文本的情感倾向性对于舆情管控、社会维稳等有重要价值。针对传统情感识别模型大多集中于评论的表层语义挖掘,存在分类效果不佳、泛化能力有限等问题,提出了一种基于BERT-BiGRU多模集成学习的深层情感语义识别方法。首先,通过BERT预训练模型获取评论文本的上下文语义特征表示,再结合BiGRU提取深层非线性特征向量,实现单模型下的最优效果;接着,为了使模型效果稳定且多方面表现均衡,基于BERT系列预训练模型训练出表现优异且具有差异化的多个情感分类器;最后,利用数据扰动和投票策略的集成学习方法,实现各模型深层特征的充分融合。实验结果显示:BERT-BiGRU模型相较于其他传统模型,在两个公开数据集(COV19和ChnSenti)上具有更优的情感识别效果。

基于BERT字向量和TextCNN的农业问句分类模型分析

【目的】研究不同词向量和深度学习模型组合对农业问句分类结果的影响,为构建农业智能问答系统提供技术支撑。【方法】通过爬虫获取农业种植网等网站的问答数据,选择20000条问句进行人工标注,构建农业问句分类语料库。采用BERT对农业问句进行字符编码,利用文本卷积神经网络(TextCNN)提取问句高维度特征对农业问句进行分类。【结果】在词向量对比实验中,BERT字向量与TextCNN结合时农业问句分类F1值达93.32%,相比Word2vec字向量提高2.1%。在深度学习模型的分类精度对比方面,TextCNN与Word2vec和BERT字向量结合的F1值分别达91.22%和93.32%,均优于其他模型。在农业问句的细分试验中,BERT-TextCNN在栽培技术、田间管理、土肥水管理和其他4个类别中分类F1值分别为86.06%、90.56%、95.04%和85.55%,均优于其他深度学习模型。超参数设置方面,BERT-TextCNN农业问句分类模型卷积核大小设为[3,4,5]、学习率设为5e-5、迭代次数设为5时效果最优,该模型在数据样本不均衡的情况下,对于农业问句的平均分类准确率依然能达93.00%以上,可满足农业智能问答系统的问句分类需求。【建议】通过阿里NLP等开源平台提升数据标注质量;在分类过程中补充词频和文档特征,提高模型分类精度;农业相关政府职能部门加强合作,积极探索农业技术数字化推广和服务新模式。

面向多文档的机器阅读理解模型

机器阅读理解是自然语言处理领域中基础且重要的研究课题,其目标是让机器具备从文本数据中获取知识或回答给定问题的能力。近年来,研究人员已经提出了多种面向单文档的机器阅读理解模型,并取得了一定的效果。然而,在实际应用场景中,通常是先提出问题,然后再根据大规模非结构化文本数据对问题进行作答;此外,针对同一答案,不同用户提问时的问题描述也不相同,这对模型的泛化能力提出了较高的要求。针对上述问题,提出了一种面向多文档的机器阅读理解模型。模型遵循先检索后阅读的思想。在检索阶段,提出了一种基于规则和最长公共子串的排序方法,从文档库中选出前N个最相关的文档;在阅读阶段,基于Bert预训练模型提取的特征,结合文本语义特征和注意力机制提高问题核心词在问题特征、问题-篇章交互特征中的权重,采用指针网络预测每篇文档中的答案跨度,并综合考虑文档检索得分和预测答案得分,给出评分最高的答案。在中文阅读理解数据集CMRC上,该模型达到76.29%的EM分数和89.77%的F1分数,获得较好实验效果。

结合混合特征提取与深度学习的长文本语义相似度计算

文本语义相似度计算是自然语言处理中一项非常重要的任务,但是目前对于文本语义相似度的研究多集中在短文本领域,而不是长文本。相较于短文本,长文本语义信息丰富,但同时语义信息容易分散。针对长文本语义信息分散的问题,提出一种特征提取模型,提取出长文本的主要语义信息;对提取的语义信息使用滑窗重叠的方法输入BERT预训练模型得到文本向量表示;然后,通过双向长短期记忆网络建模长文本的前后语义联系,将其映射到语义空间内;再通过线性层增加模型表示能力;最后,通过相似语义向量内积最大化和交叉熵损失函数进行微调。实验结果表明,该模型在CNSE和CNSS数据集上F1分数分别为0.84和0.91,性能优于基线模型。

BEML:一种面向商品隐空间表征的混合学习分析范式

随着互联网经济时代的到来,电子商务平台的高效管理日益受到学术界和工业界的广泛关注,其中,商品分类的精度与自动化水平直接影响着用户体验及运营效率的优化。鉴于此,本研究围绕商品信息的隐空间表征进行深入探讨,提出了一种面向商品隐空间表征的混合学习分析范式BEML。该框架融合了先进的双向编码器表示(BERT)技术与传统机器学习方法,旨在通过对商品信息隐空间的细致解析,显著提升商品分类的自动化处理效率及准确性。与现行主流的深度学习和机器学习算法进行对比分析的实验结果表明,BEML框架针对本次亚马逊在线分析数据集的最佳分类效果F1指标的宏平均达到了85.79%,微平均达到了84.73%,均超过了目前最佳F1指标83.3%,实现了新的SOTA。该框架不仅在理论上具有创新性,其在电子商务领域的信息管理和自动化处理实践中亦具有重要的应用价值,为科技商学领域提供了一种高效且可靠的混合学习分析范式。