基于双向注意力机制的多模态关系抽取

传统关系抽取方法从纯文本中识别实体对之间的关系,多模态关系抽取方法通过利用多种模态信息辅助关系抽取任务。针对现有多模态关系抽取模型在处理图像数据时存在容易受到冗余信息干扰的问题,提出一种基于双向注意力机制的多模态关系抽取模型。首先,采用来自Transformer的双向编码器表示(BERT)与场景图生成模型分别提取文本语义特征与图像语义特征。然后,利用双向注意力机制建立图像到文本与文本到图像的双向对齐机制,通过这种双向对齐机制实现图像与文本之间的双向信息交互,赋予图像中冗余信息较低的权重以削弱其对文本语义表示的干扰,从而减轻图像中冗余信息对关系抽取结果造成的负面影响。最后,将对齐后的文本特征表示与视觉特征表示相连接形成文本与图像的融合特征,通过多层感知机(MLP)计算所有关系分类的概率分数并输出预测关系。在用于神经关系提取的多模式数据集(MNRE)上的实验结果表明,该模型的精确率、召回率、F1值分别达到65.53%、69.21%与67.32%,相比于基准模型均有明显提升,具有较好的关系抽取效果。

融合ERNIE和双向注意力流的医生推荐算法

医生推荐是在线问诊平台的研究热点之一,为了向患者提供更加精准、个性化的医生推荐,提出一种融合ERNIE和双向注意力流的医生推荐算法。首先,利用ERNIE预训练模型对患者疾病描述进行词向量编码,通过弱监督的方式自定义标签生成医生擅长文本训练数据,再将医生职称信息与擅长文本进行拼接输入到ERNIE模型中;其次,采用双向注意力流(bi-directional attention flow)捕捉医生文本中的关键信息,学习患者疾病描述文本和医生文本的关系,获得融合患者信息的医生综合特征向量;最后,将医生综合特征和患者特征进行相似度计算产生推荐结果。利用来自“好大夫在线”的真实数据进行了不同算法实验对比,结果表明所提算法在推荐性能上有明显提升。

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。

基于改进双向注意力映射的单板图像修复

木材生长加工过程中产生的缺陷会影响产品质量并且浪费大量木材资源,为提高木材利用率与缺陷修复效果,提出一种基于可学习的双向注意力映射(Learnable Bidirectional Attention Maps,LBAM)网络模型的轻量化Lightweight LBAM网络(LL-Net)。该网络使用级联与并行方式的膨胀卷积扩大感受野,修改掩膜更新的激活函数提高修复效果,减少网络深度,在保证效果前提下降低参数量。结果表明,LL-Net与全局与局部判别器(Global and Local Discriminator,GL)方法相比,峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)最高分别提升48.6%和14.2%;与上下文注意力(Contextual Attention,CA)方法相比,PSNR和SSIM最高分别提升23.0%和7.9%;与LBAM方法相比,PSNR和SSIM最高分别提升1.5%和0.6%。并且LL-Net网络参数量为63.58 m,相较于LBAM方法降低了75%。该方法可取得纹理更清晰、语义一致性更好的修复效果,为单板缺陷修复提供指导性意见。

基于双向注意力和类生成器的小样本文本分类

在小样本文本分类领域中,查询集和支持集的特征提取是影响分类结果的关键之一,但以往的研究大多忽略了两者之间存在匹配信息且在各自的信息提取中忽略了特征间的重要性程度不同,因此提出了一种新的小样本分类模型.模型结合GRU的全局信息提取能力和注意力机制的局部细节学习能力对文本特征进行建模,同时采用双向注意力机制来获取支持样本与查询样本间的交互信息,并创新性的提出“类生成器”用以区分同类样本间的不同重要性同时生成更具判别性的类别表示.此外,为了获得更为清晰的分类界限,还设计了一个原型感知的正则化项来优化原型学习.模型在2个小样本分类数据集上进行了实验,均取得了比目前最优基线模型更好的分类效果.

基于双向注意力机制的图像描述生成

结合注意力机制的编码器—解码器框架被广泛应用于图像描述生成任务中。以往方法中,注意力机制根据当前时刻的语义信息挑选出重要的局部图像特征,进而依靠解码器的"翻译"能力将图像特征解码成文字。然而,在此过程中,单向的注意力机制并未检验语义信息与图像内容的一致性。因此,所生成的描述在准确性方面有所欠缺。为解决上述问题,该文提出一种基于双向注意力机制的图像描述生成方法,在单向注意力机制的基础上,加入图像特征到语义信息方向上的注意力计算,实现图像和语义信息两者在两个方向上的交互,并设计了一种门控网络对上述两个方向上的信息进行融合。最终,提高解码器所蕴含的语义信息与图像内容的一致性,使得所生成描述更加准确。此外,与前人研究不同的是,该文在注意力模块中利用了历史时刻的语义信息辅助当前时刻的单词生成,并对历史语义信息的作用进行了验证。该文基于MSCOCO和Flickr30k两种图像描述生成数据集,并使用两种图像特征进行了实验。实验结果显示,在MSCOCO数据集上,BLEU4分值平均提升1.3,CIDEr值平均提升6.3。在Flickr30k数据集上,BLEU4分值平均提升0.9,CIDEr值平均提升2.4。

基于双向注意力机制的问答情感分析技术研究

为了能够提高问答情感分析的准确率,文章提出一种基于双向注意力机制的问答情感分析技术,结合问答文本中情感信息这一特点,对问答文本交互情感信息进行捕捉,运用双向长短时记忆网络,分别完成问答文本编码,并基于双向注意力机制获得问答文本情感的各自权重,最后获得基于双向注意力机制的问答情感分析结果。实验研究发现,该分析技术能够达到76%的问答情感分析准确率,FI值最终为62%,在实验中相较其他分析技术的应用效果明显提升。

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据。结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况。使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid, MBAH)模型,在深度模型提取的图像和文本特征基础上,利用双向注意力机制在一个模态下引入另一个模态信息,将该模态的底层特征与另一模态语义特征通过注意力计算学习模态间的关联信息,然后联结两种模态的高层特征形成跨模态共享表征并输入多层感知器得到分类结果。此外MBAH模型应用后期融合技术结合图文单模态自注意力模型搜寻最优决策权值,形成最终决策。实验结果表明,MBAH模型情感分类结果相较于其他方法具有明显的提升。

基于多粒度双向注意力机制的词义消歧深度学习方法

词义消歧的目标是在特定的上下文中识别歧义词的正确词义。传统的监督方法主要是利用上下文的数据,而忽略了丰富的词义定义等词汇资源。最近的研究发现将词义定义整合到神经网络对于词义消歧具有显著的改进效果。提出引入词义定义的基于多粒度双向注意力机制的词义消歧模型,该模型采用字符级、词级和上下文嵌入的表示,使用双向注意力机制获取上下文和词义定义之间的交互关系,消融实验验证了模型中每个组成的重要性。实验结果表明,这种建模方式可以有效地识别歧义词的正确词义,在SemEval-13-task#12和SemEval-15-task#13公开数据集上进行了测试,F1值分别可达到68.9%和73.1%。

基于双向注意力机制图像描述方法研究

大多数图像描述任务中每个单词的生成都依赖于图像全部信息和生成的上文信息,其中包括许多无关的图像信息,而且没有学习下文信息.为解决该问题,提出了一种双注意力机制,先使用上一次的图像显著信息与词向量一起预测当前的隐层状态,再使用当前的隐层状态预测当前图像显著信息.将双注意力机制与双向长短期记忆网络结合起来构成双向双注意力网络,并与卷积神经网络共同构成图像描述系统框架.该框架首先采用卷积神经网络提取图像特征,然后将图像特征输入到含有注意力机制的双向长短期记忆网络中,双向双注意力网络同时获取前向和后向的图像显著信息与隐层状态,产生图像描述.在数据集Flickr30k与MSCOCO上进行模型训练与测试.结果表明,模型分别与只含有注意力机制和只含有双向循环神经网络模型相比,图像描述准确率获得了提高.

融合双向路由注意力的多尺度X光违禁品检测

针对违禁品检测中存在的复杂背景干扰、物体间的重叠遮挡和多尺度变化问题,提出一种基于改进YOLOv7的X射线违禁品目标检测算法。首先,在主干中引入MBConv,以更有效的捕获全局信息;其次在特征融合网络中加入RFE模块,以增加特征图的感受野,从而提高违禁品多尺度检测的准确性。并设计出一种ELAN-BiF模块,用于抑制复杂背景干扰,使网络提取不同尺度的物品特征;为了提高小目标物体的检测精度,增加了一个微小物体检测头;最后,结合CARAFE上采样和Mish激活函数来提高网络对重叠和遮挡对象的识别能力,并提升在正负样本不平衡情况下的检测能力。结果表明,改进后的模型在SIXray_OOD数据集上进行测试,该方法map达到了95.2%,比原模型提高4.9%,比其他主流检测模型在违禁品检测任务上具有更好的优越性。

网状多尺度与双向通道注意力的铁路场景语义分割

语义分割是智能感知的基础。本文针对复杂铁路场景类别易混淆及有效特征难提取的问题,提出一种基于网状多尺度融合与双向通道注意力的铁路场景语义分割网络。为增强模型对各类铁路设施的判别能力,提出网状多尺度融合模块。该模块嵌入主干网络,获取不同尺度的特征并行连接,并在融合层进行网状信息交互,实现不同分支的特征融合。通过汇聚其他分支输入,模型输出可同时保留多分辨率特征。为提升复杂铁路场景下有效特征的提取性能,提出双向通道注意力模块。正向通道注意力模块位于主干网络上下采样操作后,使输出特征图由不同尺度的输入特征加权重组,从而自适应地提升有效特征的表达;反向通道注意力模块插入模型最终输出之前,保留底层空间信息的同时,生成有效高阶语义信息。在RailSem19铁路数据集上的实验结果表明,本文所述方法对于易混淆类别,以及轨道区域、接触网立柱、列车及防护栅栏等铁路设施类别的分割性能均有显著提升,m IoU达到65.12%,相比于其他方法有一定提升。

基于义原知识和双向注意力流的问题生成模型

【目的】为解决现有模型存在的生成问题语义偏离于给定上下文文本和答案的问题,提出一种基于义原知识和双向注意力流的问题生成模型。【方法】提出两种语义增强策略:(1)通过在嵌入层融入义原外部知识的方法来捕捉比词向量更小粒度的语义知识,进而增强文本自身的语义特征。此外,通过余弦相似度算法得到更符合上下文文本语义的扩充义原知识库,这样做不仅可以筛除原有义原知识库中可能会导致语义嘈杂的义原,而且可以为词表中无义原标注的单词推荐符合语义的义原集合。(2)通过在编码层后融入双向注意力流的方法,增强文本与答案之间的语义表征。【结果】本模型在SQuAD1.1数据集上的Bleu_1、Bleu_2、Bleu_3、Blue_4评价指标分别达到46.70%、31.07%、22.90%、17.48%。实验证明,本文所提改进模型性能优于基线模型。【局限】当融入双向注意力流时,由于模型需要分别对段落文本及问题进行特征提取,因此训练模型时需要消耗成倍的内存和时间。【结论】义原知识和双向注意力流这两种语义增强策略可以增强问题生成模型的效果,并且使模型生成更符合人类语言习惯的更高质量的问题。

基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。

考虑纵向时空特性的双向交通流组合预测研究

针对现有研究方法未充分考虑现实路网双向交通流的纵向时空特性,道路方向辅助信息特征再组织性不足的问题,提出一种考虑纵向时空特性的双向交通流组合预测模型。采用卷积深度信念网络预训练机制细粒化提取上下游纵向路段间的空间特性,利用双向长短时记忆网络提取双向交通流时序特性,通过二者组合的方式完成纵向时空特性的深层次挖掘,并在此基础上,结合改进的双向注意力机制对模型提取的特征进行方向性自组织规划,从而实现针对不同方向性类别的自适应权重分配过程。实验结果表明:所提模型的平均绝对百分比误差和均方根误差相较于未考虑上下游路段影响的模型的分别降低了3.01%、5.57%,相较于考虑上下游路段影响但未改进注意力机制的模型的分别降低了0.29%、4.87%。

多尺度注意力细化视网膜分割算法

针对现有算法存在因视网膜血管尺寸微小和对比度低等造成细小血管分割缺失以及因病理区域造成血管过分割等问题,提出一种基于U型网络多尺度注意力细化视网膜分割算法。在编码和解码阶段使用改进的密集卷积模块充分提取血管的特征信息,提升特征的利用率。将不同尺度的编码层特征提取的结果拼接后,通过跳跃连接经双向注意力机制将特征增强后传递到解码层。在解码处引入空间细化模块进一步提取微小血管的空间信息,减少背景伪影,细化血管形态。该算法在公开数据集DRIVE和STARE上进行验证,其在评估指标准确率分别为0.9649和0.9663,灵敏度分别为0.8422和0.8050,特异性分别为0.9822和0.9880,AUC分别为0.9867和0.9895。

融合双向依存自注意力机制的神经机器翻译

针对神经机器翻译中资源稀缺的问题,提出了一种基于双向依存自注意力机制(Bi-Dependency)的依存句法知识融合方法。首先,利用外部解析器对源句子解析得到依存解析数据;然后,将依存解析数据转化为父词位置向量和子词权重矩阵;最后,将依存知识融合到Transformer编码器的多头注意力机制上。利用Bi-Dependency,翻译模型可以同时对父词到子词、子词到父词两个方向的依存信息进行关注。双向翻译的实验结果表明,与Transformer模型相比,在富资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了1.07和0.86,在汉-英翻译上的BLEU值分别提升了0.79和0.68;在低资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了0.51和1.06,在汉-英翻译上的BLEU值分别提升了1.04和0.40。可见Bi-Dependency为模型提供了更丰富的依存信息,能够有效提升翻译性能。

基于多角度交叉注意力机制的知识库问答方法

近些年知识库问答的方法通常利用多视角信息来表示候选答案,忽略了这些信息间的相互影响,将问题的单词与候选答案的多视角信息计算相关性,忽略了二者在整体与细节上的信息。基于上述问题,提出一个多角度交叉注意力模型,通过多视角交叉注意力机制获取候选答案多视角信息间的交叉影响;将问题与候选答案信息进行整体表示,运用双向交叉注意力机制来计算其二者在整体级别上的关联性,最终提高获取答案的正确率。利用FreeBase知识库与WebQuestions数据集进行实验,F1值达到55.84%,优于最近表现较好的方法。

基于多重注意力卷积神经网络双向门控循环单元的机械故障诊断方法研究

为解决传统机械故障诊断方法需要人工提取特征的不足,提出一种基于多重注意力卷积神经网络双向门控循环单元(multiple attention-convolutional neural networks-bidirectional gated recurrent unit,MA-CNN-BiGRU)的端到端的故障诊断方法。首先将原始时域数据输入卷积神经网络(convolutional meural networks,CNN)进行初步特征提取并降维,然后将结果重组输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),可以有效地解决BiGRU对于过长序列数据处理困难的问题。采用美国凯斯西储大学开源轴承数据集进行训练,确定了最佳卷积层数和最佳样本长度约减比例分别为2和1/8。同时,通过在CNN和BiGRU中分别加入卷积注意力模块(convolutional block attention module,CBAM)和序列注意力模块(sequence attention module,SAM),进一步加强了模型对于关键信息的提取能力。最后实测柴油机故障振动信号试验表明:MA-CNN-BiGRU模型可以实现端到端的故障诊断,与变分模态分解(variational mode decomposition,VMD)核模糊C均值聚类算法(VMD-kernel fuzzy C-means clustering,VMD-KFCM)、VMD-反向传播神经网络(back propagation neural network,BPNN)和一维CNN等方法进行对比,MA-CNN-BiGRU模型的故障诊断性能更优。

基于多特征多注意力模型的中文事件关系识别

当前的关系识别任务多采用基于词或字粒度单一特征进行,忽略了全局信息对于关系识别的重要性,而且现代汉语具有词类和句法成分关系复杂的特点,这使得特征选择成为中文文本处理中的重点与难点。文中所用多特征多注意力模型除事件自身特征外,充分地考虑到位置、事件要素和上下文三类额外特征,利用全局信息以解决模型特征矩阵语义表征不足的问题。该模型结合双向注意力机制、点积注意力机制和双向门控循环神经网络进行事件关系识别,结合注意力机制的神经网络模型来较好地提取文本中的深层语义信息。其中双向注意力从特征矩阵两个方向提取事件自身有效信息,点积注意力提取事件之间的对应关系,双向门控循环神经网络提取矩阵中的上下文特征。在CEC2.0中文突发事件语料库上的实验结果表明,文中方法以及所用模型均有较好的识别效果。