Gel'fand三元组上Lévy过程的随机积分(英文)

本文研究了算子值过程关于Gel’fand三元组EHE*上Lévy过程的随机积分.利用再生核Hilbert空间上柱Lévy过程的随机积分,定义一类算子值过程关于E*-值Lévy过程的随机积分。

基于课程学习的跨度级方面情感三元组提取

现有方面情感三元组提取方法存在无法充分利用预训练模型知识,容易出现过拟合或欠拟合,识别语句细粒度方面词和情感极性的能力不足等问题,为此提出基于课程学习框架的跨度级方面情感三元组提取方法.该方法基于课程学习框架进行数据预处理,使用预训练模型学习句子的上下文表示,搭建跨度模型提取句子中所有可能的跨度,基于双通道提取方面词和意见词,筛出正确的方面词和意见词组合进行情感分类.在ASTEData-V2数据集上的实验结果表明,所提方法的F1值比SPAN-ASTE的F1值提升了2个百分点,所提方法的实验结果优于GTS、B-MRC、JET等其他方面情感三元组提取方法.

融合多窗口特征的词对标记情感三元组抽取

方面情感三元组抽取旨在从句子中抽取方面词、意见词和对应的情感极性。针对目前研究未充分挖掘局部上下文语义信息,缺乏对局部范围内的方面意见词对关联学习,以及遭受错误传播等问题,提出一种融合多窗口特征的词对标记情感三元组抽取模型。该模型利用BERT对句子信息进行处理,获取句子编码特征,采用多窗口特征学习机制学习局部范围内的情感特征关联,并挖掘句子包含的潜在语义信息,使用多头注意力图转换模块将所学习到的特征聚合成标记分布概率,利用改进的词对标记方案标记句子并解码得到三元组。在SemEval-ASTE的四个基准数据集上进行实验分析,相比GTS-BERT模型,所提模型在三元组抽取任务上F1分值分别提高了2.33、6.57、2.97、4.84个百分点。实验结果表明,所提模型可以有效学习局部语义信息,准确标记方面意见跨度,较为精确地提取情感三元组。

基于改进三元组网络的回转窑火焰图像工况识别

针对回转窑火焰图像细节特征难以区分导致的工况识别困难的问题,提出一种基于改进三元组网络的小数据集回转窑火焰图像工况识别方法。该方法在原始三元组网络的基础上优化了距离度量方式并引入类内距离损失。首先,将回转窑火焰图像的RGB通道分离后分别进行双边滤波预处理,保留具有火焰边缘信息的特征,并在原始三元组损失中通过引入类内特征距离损失,使其能够在增大类间距离的同时,减小类内距离;然后,通过基于马氏距离的改进三元组网络获取具有细节差异性的火焰图像特征;最后,采用K均值聚类算法对有标签的特征向量进行工况识别。实验结果表明,该方法得到的特征具有更强的判别性,可以有效提高回转窑工况识别的分类精度,指导回转窑操作。

联合句法与位置信息的方面情感三元组抽取

为提高方面级情感三元组抽取任务的准确率,提出一种联合依存句法关系和位置偏移信息的抽取模型。在模型上下文编码中添加句法关系,结合图卷积网络捕获结构和结点属性信息,增强三元组要素之间的交互能力;在多任务学习部分加入相对位置偏移信息,充分挖掘方面-观点词对的关系,提高三元组要素抽取的精度。在4个基准英文数据集上的实验结果表明,该方法效果显著且优于其它基线模型。

结合多层注意力和GCN的方面情感三元组抽取

针对传统两阶段管道方法忽略情感三元组元素之间的相互联系,以及存在误差传播等问题,提出一种结合多层注意力机制和图卷积网络的端到端方面情感三元组抽取模型AGGTS.首先,利用依赖关系树构造方面项、观点项与其他词之间的相对距离和依存关系;其次,图卷积网络通过依赖关系树构造的依存关系来建模句子的结构,捕获句子中词之间的语义信息和句法依赖关系,并且引入位置注意力机制和多头注意力机制,对每个方面项、观点项与其上下文词之间进行建模;最终从词对关系标签结果中抽取三元组.实验结果表明,本文方法在4个数据集上的评价指标均取得显著提升,验证了本文方法的有效性.

面向语法加权图文本的方面情感三元组抽取

方面情感三元组抽取包括方面抽取、意见抽取和方面情感分类3项任务,以管道方式解决该任务的研究方法无法利用元素之间的交互信息,同时也会造成错误传播和冗余训练。基于此,提出一种基于门控注意力和加权图文本的方面情感三元组抽取方法。采用双向长短时记忆网络学习句子的序列特征表示;利用门控注意力单元学习单词之间的线性联系;利用语法距离加权图卷积网络增强三元组元素之间的交互;利用网格标记推理策略预测三元组。在4个公开数据集上进行实验,结果表明:所提方法可以有效增强三元组元素之间的交互,提高三元组抽取的准确率;同时,所提方法的F1值分别为57.94%、70.54%、61.95%和67.66%,与基准模型相比均有所提高。

基于聚合局部邻居三元组与特征增强注意力的知识图谱表示

针对Transformer知识表示模型中三元组语义和结构关联信息的缺失问题,提出了新的知识图谱表示框架CNAR。首先在Transformer的基础上设计了聚合局部邻居三元组技术,有效丰富了语义结构信息的多样性,并利用特征增强注意力设计权重,精准表征三元组的关联程度。此方法已成功应用到下游任务,并在4个数据集(包括自制机器人数据集ROBOT)上进行了验证。实验结果显示,在WN18RR和FB15K-237数据集上,该方法获得的MRR指标较基线方法的平均水平分别提高了10.9百分点和17.1百分点,Hits@10指标分别提高了13.1百分点和保持平衡表现。此外,在UMLS和ROBOT数据集上,该方法的两个指标也达到或接近最优性能,证明了该方法的有效性和适用性。

基于双三元组网络的易混淆文本情感分类方法

预训练模型的快速发展使得情感分类任务得到了突破性进展,然而互联网提供的海量数据中存在着大量语义模糊、易混淆的文本,制约了当前多数模型的分类效果。针对易混淆文本对情感分类的负面影响,该文提出了一种基于双三元组网络的易混淆文本情感分类方法。该方法有效解决了传统三元组网络中同类文本特征之间仍存在明显差异的问题,改进了三元样本组合的构建方式,分别从易分类文本和普通文本中构建出两对三元样本组合,并以不同权重进行特征相似度比对,让模型深入挖掘易混淆文本和易分类文本的特征编码差异,充分学习同类别文本间的相似性和混淆类别文本间的差异性,提高了文本特征的聚类效果;同时,在训练过程中将本批次的易混淆文本加入到下一批次进一步训练,更有效地利用了易混淆文本的语义信息,以此提升模型整体的分类效果。在nlpcc2014、waimai_10k和ChnSentiCorp数据集上进行对比实验,实验结果表明,与现有的易混淆文本情感分类方法相比,该方法在准确度和F1值上具有更好的表现,其中F1值相较于基准模型提升了3.16%、2.35%和2.5%,验证了所提方法的有效性和合理性。

基于方面情感三元组抽取的游客评论大数据细粒度情感分析

目前游客细粒度情感分析的研究多集中于基于主题聚类下的频次统计等的大致分析,缺乏更精准地从每一条评论中抽取所有属性情感特征的细致定量刻画。因此,文章基于国内四大知名旅游电商平台上有关贵州省数百家A级旅游景区的游客评论大数据,建构较大规模的旅游评论方面级情感分析(ABSA)中文标注数据集;采用基于BERT的LCF-AEPC方面情感三元组抽取联合模型,在近8万条主观评论文本集上端到端地实现17万余个方面情感三元组的预测输出;并基于此输出结果进行可视化量化分析,探究游客在景区不同方面以及在不同级别和不同类型景区上的情感特征差异及其原因,构建了包含四类要素的游客情感感知影响因素模型。文章通过人工智能领域的深度学习技术实现ABSA多任务可快速有效地捕捉游客对景区各方面的偏好、需求和意见等信息,将成为旅游领域细粒度情感研究的有益尝试和最新应用。

基于依存结构的关系三元组抽取方法

信息抽取是自然语言处理领域的关键任务,关系三元组抽取是信息抽取的核心子任务.在关系三元组抽取任务中,利用句子的依存结构信息可以加强对句子的全局理解,从而提升模型的抽取效果.该文提出了一种基于依存结构分析和图神经网络的抽取方法.首先利用预训练模型得到文本向量语义表示;其次获取文本的依存结构信息并构建成图;接着利用图神经网络编码图的结构信息获取全局理解;最后通过特定的解码方式抽取出文本蕴含的关系三元组.实验结果表明:该抽取方法在NYT29、NYT24和WebNLG数据集上的精确率比已有的联合抽取模型精确率提升0.1%~0.6%,召回率提升0.2%~0.5%,F_(1)值提升0.1%~0.3%.

融合多任务学习和实体遮掩的关系三元组抽取模型

针对流水线式三元组抽取模型中,命名实体识别任务里实体识别和实体分类两个子任务之间存在干扰,关系抽取任务中实体提及词对关系分类也存在干扰的问题,提出一种融合多任务学习和实体遮掩的关系三元组抽取模型.在命名实体识别任务中,先利用预训练模型对输入句子进行特征编码表示,然后利用首尾指针标注进行实体识别,最后利用注意力机制融入实体类型信息进行实体分类.在关系抽取任务中,提出了一种实体遮掩的方法,先利用实体类型信息替换实体提及词,并在其前后插入实体标记,之后利用预训练模型对输入句子进行特征编码表示,最后利用头尾实体的特征表示进行关系分类.在SCIERC和SKE两个数据集上进行大量实验,实验结果表明,所提模型相较于基于实体标记方法的PURE模型整体性能提升了2.5和1.5个百分点.充分验证了在三元组抽取任务中,分解命名实体识别任务以及在关系抽取中用实体类型信息替换实体提及词的有效性.

基于集合预测的方面级情感三元组提取

近年来,基于方面级别的情感分析(ABSA)任务受到越来越多的关注。其中,方面级情感三元组提取(ASTE)是ABSA任务中最新的子任务,其要求同时提取出句子的方面词、观点词并输出对应的情感极性。先前的工作大多采用pipeline方式进行提取,忽略了方面词和观点词之间的联系,且容易产生误差传播的问题。对此,该文提出一种基于集合预测的方法,将方面级情感三元组提取问题转换成集合预测问题,以端到端的方式进行三元组提取。在多个基准数据集上的实验表明,该文提出的模型取得了较为先进的结果。

基于BERT位置感知的旅游三元组知识抽取方法

直接获取文本中的三元组,往往存在语义联系较弱、距离过长和一词多义的问题,因此,提出基于BERT预训练的位置感知的两阶段旅游三元组知识抽取方法。利用BERT-Span模型通过边界预测方法对旅游实体进行识别;利用旅游数据中的字、语义、位置和实体类型特征,构建融合位置感知注意力和头尾实体类型的关系抽取模型。在山西旅游数据集上进行实验,实验结果表明提出的方法优于基准模型的F1值。

基于三元组分类器的电力安全领域知识抽取

电力安全三元组抽取是构建电力安全知识图谱及搜索系统的基础。面对特殊语句时,电力安全传统深度学习抽取方法识别率低且容易出现误差传播,而用联合抽取方法无法处理实体对重叠和单实体重叠问题。因此,提出基于三元组分类的联合抽取方法,用分类思想进行电力安全三元组抽取。首先从电力安全文本网站提取电力安全标准文本,并开发插件进行手动标注。然后利用Chinese-bert-wwm-ext(Chinese bidirectional encoder representations from transformers whole word masking extesion)预训练模型对电力安全文本数据向量化。随后将词向量枚举,将三元组转换为两对向量组,再设计分类器训练联合抽取模型抽取三元组向量,最后解码出三元组。实验结果:在电力安全数据集上取得了90.2%的F1值,比传统流水线方法Bert-BILSTM-CRF(Bidirectional encoder representations from transformers bidirectional long short-term memory conditional random fields)高10%,比联合抽取模型TPLinker(Token pair linker)高1.3%。该结果表明所提方法便于后续电力安全知识图谱建立。

复杂网络对逼近模型的近似三元组过程

针对复杂网络传染病动力学的SIR模型,在配置网络中使用“对逼近”方法,阐述了模型中用一元组和二元组近似三元组的过程,得出三元组的近似公式,并利用概率生成函数对公式进行简化.

基于方面感知注意力增强的方面情感三元组抽取

在自然语言处理(NLP)的细粒度情感分析问题中,为探索携带结构偏差的预训练语言模型(PLM)对端到端式情感三元组抽取任务的影响,解决方面语义特征依赖容错率低的问题,结合方面感知注意力机制和图卷积网络(GCN),提出用于方面情感三元组抽取任务的方面感知注意力增强图卷积网络(AE-GCN)模型。首先,在方面情感三元组抽取任务中引入多种类型的关系;其次,采用双仿射注意力机制将这些关系嵌入句子中单词之间的相邻张量,并引入方面感知注意力机制以获取句子注意力评分矩阵,深入挖掘与方面相关的语义特征;再次,GCN通过将单词和关系相邻张量分别视为边和节点,将句子转换为多通道图以学习关系感知节点表示;最后,使用一种有效的词对表示细化策略确定词对是否匹配,以考虑方面和意见抽取的隐含结果。在ASTE-D1基准数据集上的实验结果表明,所提模型在14res、14lap、15res和16res子数据集上的F1值相较于增强型多通道图卷积网络(EMC-GCN)模型提升了0.20、0.21、1.25和0.26个百分点;在ASTE-D2基准数据集上,所提模型在14lap、15res和16res子数据集上的F1值相较于EMC-GCN模型提升了0.42、0.31和2.01个百分点。可见所提模型相较于EMC-GCN模型在精确率和有效性方面有较大改进。

面向煤矿机电设备领域的三元组抽取方法

针对机电设备领域相关语料匮乏、关系类型特征挖掘不充分以及文本包含重叠三元组的问题,提出一种融合提示学习与先验知识以迭代式对抗训练的三元组抽取方法TBPA(Triplet extraction Based on Prompt and Antagonistic training)。首先,利用BERT(Bidirectional Encoder Representations from Transformers)模型在自构语料库上进行微调,以获取输入文本的特征向量;接着,采用投影梯度下降(PGD)方法在嵌入层进行迭代式对抗训练,提高模型对干扰样本的抵御能力和对真实样本的泛化能力;然后,利用单层头尾指针网络识别出头实体,并结合提示学习模板获取头实体对应的领域先验特征,将字向量与Prompt模板中预测得到的提示向量相结合;最后,在分层标注框架下,使用单层头尾指针网络逐个识别预定义的所有关系类型所对应的尾实体。与基线模型CasRel相比,TBPA在精确率、召回率和F1值上分别提高了3.10、6.12、4.88个百分点。实验结果表明,TBPA在煤矿机电设备领域三元组抽取任务中具有一定的优势。

基于语义增强双编码器的方面情感三元组提取

方面情感三元组提取(Aspect Sentiment Triplet Extraction,ASTE)是方面级情感分析领域的一项关键任务,目的是提取出句子中给定的方面词、观点词及对应的情感极性。传统的ASTE方法因未充分考虑语义信息和语法结构之间的交互作用,导致模型性能受限。针对这一问题,文章提出了一种基于语义增强的双编码器三元组提取方法。首先,使用基于BERT(Bidirectional Encoder Representation from Transformers)的基本编码器提取单词的上下文信息。其次,基于GloVe词向量和Amazon特定评论词典,使用由门控循环单元(Gate Recurrent Unit,GRU)网络和图卷积网络(Graph Convolutional Network,GCN)结合构建的特定编码器提取深层语义信息,在此过程中通过引入图注意力机制实现基本语义特征与深层语义特征的交互融合。最后,使用边界驱动表填充(Boundary-Driven Table-Filling,BDTF)方法进行三元组提取。在4个公开的数据集上的实验验证表明,所提模型可以高效地捕获并利用句子的深层语义信息,实现较准确的方面情感三元组提取。

结合句法结构和语义信息的方面情感三元组抽取

为解决先前方面情感三元组抽取方法中忽略句法结构和语义信息的问题,提出一种结合句法结构和语义信息的抽取模型。使用BERT预训练模型编码输入语句,同时编码句法结构特征。通过注意力层学习词对间的语义信息。将句法结构特征和语义信息输入图卷积网络,增强对单词间句法结构的学习。通过网格解码生成情感三元组。在lap14、res14、res15、res16数据集上的实验结果表明,该模型在精确率、召回率和F1值上相较其它基线模型有显著提升,有效提升方面情感三元组抽取效果。