基于情感融合和层次注意力机制的情感分析

针对两个反义词在相似语境下转化成词向量后空间距离相近,容易造成情感信息丢失,循环神经网络等的特征提取方式容易导致网络依赖增强,难以充分提取局部性特征。针对第一个问题,本文提出情感嵌入模块,在词嵌入的过程中加入情感向量与语义信息作为网络的输入层;针对第二个问题,本文提出层次注意力机制,将融合后的词向量切片形成两个子序列,将单词的词向量输入到双向门控循环网络,利用注意力机制对隐藏层进行加权计算,获得子序列文本信息,通过多个网络层获得整个文本序列信息;最后,经过softmax函数输出文本情感极性。在NLPIR微博语料库和NLPCC2014的微博公开数据集进行实验,表明该情感分析模型在准确率上有所提高,证明了模型的有效性。

基于多维语义特征与层次注意力机制的讽刺识别

讽刺是一种复杂的语言表达方式,在日常交流中发挥着重要作用。随着人工智能和社交网络的快速发展,讽刺识别已成为自然语言处理领域的热点研究课题之一。现有的讽刺识别研究往往从单一维度对讽刺文本特征进行表示,忽视了讽刺文本特征的细微差异及其重要程度。本文将讽刺识别视为文本分类任务,在特征提取阶段,将讽刺文本根据其不一致性特征、情感特征、句法结构特征和风格特征进行多维语义特征表示。在特征融合阶段,针对不同维度特征对整体特征贡献和关联程度不同,采用层次注意力机制调整不同讽刺语言学特征对模型整体性能的影响。实验结果表明,所提出的模型能够从多个维度提取讽刺文本的潜在语义特征,其在公开数据集IAC、Tweets和Reddit上的实验性能均有明显提升。

基于路径与层次注意力的关系预测方法

目前,大多数基于路径的关系预测方法忽略了路径和关系之间的语义相关性,针对此问题提出一种层次注意力机制,捕获不同粒度的信息,包括关系级特征和路径级特征,在多跳路径和关系之间提供一种补充的语义关联。关系级注意力是以目标关系为导向,更多关注与目标关系相匹配的关系。路径级注意力是通过捕获给定实体对的邻域子图结构实现,为结果提供可解释性。该模型可以有效缓解噪声路径和冗余路径对关系预测任务的影响。实验结果表明,在相关数据集上,该模型的关系预测性能优于现有模型。

深度层次注意力矩阵分解

矩阵分解由于其较好的评分预测能力而被广泛应用于的个性化推荐中,很多模型也在矩阵分解的基础上改进以提升推荐性能。但是,这些模型由于获取用户偏好信息的能力有限而导致其推荐效果不佳。为了充分挖掘用户的偏好信息,提出了深度层次注意矩阵分解(DeepHAMF)的推荐模型。首先,对于原始数据除了输入到多层感知机之外,还采用自注意力机制编码后再输入到多层感知机中,目标是捕获显式偏好信息,并将这部分命名为自注意力层;其次,将原始矩阵分解与注意力编码之后的矩阵分解结果分别与多层感知机输出的结果通过注意力机制融合,这样能够充分挖掘出用户的潜在偏好信息,这部分命名为层次注意力模块;最后,通过残差网络将层次注意力模块和自注意力层进行信息拟合,这部分命名为残差融合层。在公开评分数据集上的实验结果表明,DeepHAMF比现有的评分预测模型效果更好。

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型(Based on Bi-GRU and Hierarchical Attention,BGHA)。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。

基于层次注意力网络的论证区间识别研究

学术文本论证区间识别是一项论证学术文献内容和分析修辞结构的研究,针对当前研究过多依赖人工经验来构建规则和特征的现状,以及论证区间识别研究存在时效性差、泛化能力弱等问题,本文采用基于层次注意力机制的HAN深度学习模型对学术文本论证区间识别进行了研究。本文首先构建了一个基于层次注意力机制的论证区间识别模型,阐述了该模型的整体架构和作用机制。其次,针对生物医学领域提出了一个论证区间9分类体系,在PubMed生物医学数据集上,用LSTM和SVM两种文本分类算法与HAN模型进行对比实验。研究结果表明,本文所采用的HAN模型在各个类别的论证区间识别上效果均为最优,F1值达到了0.90,能够较好的完成论证区间识别研究。最后,对实验结果进行错误总结和分析,并指出了下一步的研究方向。

基于门控卷积机制与层次注意力机制的多语义词向量计算方法

现有的将词映射为单一向量的方法没有考虑词的多义性,从而会引发歧义问题;映射为多个向量或高斯分布的方法虽然考虑了词的多义性,但或多或少没能有效利用词序、句法结构和词间距离等信息对词在某一固定语境中语义表达的影响。综合考虑以上存在的问题,该文提出了一种基于非残差块封装的门控卷积机制加以层次注意力机制的方法,分别在所选取语境窗口中词的子语义层、合成语义层获得非对称语境窗口下目标单词的合成语义向量以预测目标单词,并按此法在给定语料上学习得到多语义词向量的计算方法。小规模语料上用该方法得到的多语义词向量,在词类比任务的语义类比上相比于基线方法准确率最高可提升1.42%;在WordSim353、MC、RG、RW等计算单词相似度任务的数据集上相比于基线方法能够达到平均2.11的性能提升,最高可到5.47。在语言建模实验上,该方法的语言模型性能相比于其他预测目标单词的方法也有显著提升。

可解释的层次注意力机制网络危重症预警

准确性和可解释性是决定预测模型是否能够成功应用的两个主要因素。Logistic回归等统计分析模型尽管预测精度不高,但因其易于表达而被广泛采用。与之相对的基于循环神经网络(RNN)或卷积神经网络(CNN)等深度学习“黑盒模型”,准确率较高却通常难以理解。在医疗领域上述因素的权衡是目前相关研究面临的巨大挑战,通过对某三甲医院CIS系统采集住院患者生理指标数据进行实验分析,建立了基于可解释的层次注意力网络(Interpretable Hierarchical Attention Network,IHAN)用于提前预警患者抢救过程中可能并发的危急重症。IHAN在实验准确率方面优于其他神经网络模型,并且能够模仿人类的行为,重点关注患者生理数据中时间及风险因素两个维度上的异常,在保持较高准确率的情况下,同时达到了较好的可解释性。

基于多层次注意力机制一维DenseNet音频事件检测

在音频事件检测任务中,目标音频易受背景噪声等因素的干扰,并且其在音频信号流中存在的比例不高,针对这些问题,提出一种多层次注意力机制一维DenseNet(dense convolutional network)音频事件检测模型。使用一维DenseNet模型进行帧级检测能有效地检测音频事件发生的开始和结束时间;在一维DenseNet模型中引入多层次注意力机制,使得不同模块的感知特性随着网络层数的加深而自适应地变化,因此模型可以在不同的网络层次自动选择和关注重要的目标帧而抑制不相关的背景帧。在DCASE 2017任务2的开发数据集上的实验表明,该方法的整体性能较传统的深度学习方法有进一步提高。

多尺度特征提取和多层次注意力机制的迷彩伪装目标分割算法

针对现阶段语义分割算法在野外战场环境中对迷彩伪装目标分割边界不理想、小目标分割精度低的问题,提出一种结合多尺度特征提取和多层次注意力机制的迷彩伪装目标语义分割算法CSS-Net.该算法由编码结构和解码结构组成.编码部分利用轻量化的深度可分离卷积联合残差结构构建特征编码器,对迷彩伪装目标图像进行特征提取;解码部分设计了策略选择的多尺度特征融合模块和多层次注意力特征增强模块,用以获取图像的多尺度信息和通道信息,在逐步精细化分割结果的同时进一步增强图像的语义解码过程.实验结果表明,CSS-Net算法能够有效实现复杂战场环境下伪装目标的分割识别,总体分割的平均交并比指标达到91.98%,分割边界得到改善.与DeepLabv3+算法相比,CSS-Net算法用于迷彩伪装小目标图像分割时的平均交并比指标增长3.71个百分点,对于多尺度目标分割的平均交并比指标均超过85%,分割效果提升明显.

基于层次注意力网络模型的学术文本结构功能识别

【目的】针对当前学术文本章节功能识别存在诸多不足的现状,提出使用层次注意力网络模型提升学术文本章节功能识别的效果。【方法】首先,构建能够捕获章节结构信息的不同粒度的层次注意力网络模型,对比分析使用不同文本特征向量的传统机器学习模型、Bert模型与层次注意力网络模型在PLoS的4种期刊规范数据集上的学术文本结构功能的识别结果以获取最佳模型;随后,使用最佳模型识别Atmospheric Chemistry and Physics(ACP,IF 5.6)期刊中章节标题命名缺乏规范且人工标注结构功能一致性较低的章节的结构功能,并提出使用参考文献分布相似、动词线索词分布相似评估识别结果;最后,对所构建的层次注意力网络模型的领域适应性进行分析。【结果】以Bi-LSTM+Attention为编码器的句子级层次注意力网络模型识别效果优于其他模型,Macro-F1值为0.8661;存在领域适应问题,在差异较大的领域中模型识别性能下降明显,Macro-F1值最低为0.4554。【局限】不能识别具有混合结构的章节的功能;模型中未考虑文章结构之间的逻辑关系。【结论】句子级层次注意力网络模型能够较好地识别章节的结构功能,引入学术文本结构信息能够丰富和拓展基于学术论文全文本相关研究的研究内容与范围。

融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析

文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题:一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷积神经网络与层次化注意力网络的优点提出了一种深度学习模型C-HAN(Convolutional Neural Network-based and Hierarchical Attention Network-based Chinese Sentiment Classification Model),先用并行化卷积层学习词向量间的联系与组合形式,再将其结果输入到基本单元为双向循环神经网络的层次化注意力网络中判定情感倾向。实验表明:模型在中文评论数据集上倾向性分类准确率达到92.34%,和现有多个情感分析模型相比有所提升;此外,对于中文文本,选择使用字级别词向量作为原始特征会优于词级别词向量作为原始特征。

基于层次异构图注意力网络的虚假评论检测

针对虚假评论检测中不能充分利用评论的非语义特征的问题,提出了一种新的基于层次注意力机制与异构图注意力网络的层次异构图注意力网络(HHGAN)模型。首先,通过层次注意力机制学习评论文本中词级别和句级别的文档表示,重点捕获对虚假评论检测有重要意义的单词和句子;然后,将学习到的文档表示作为节点,并选取评论中非语义特征作为元路径来构建具有双层注意力机制的异构图注意力网络;最后,设计一个多层感知器(MLP)用以判别评论类别。实验结果表明,HHGAN模型在yelp. com中提取的餐厅数据集和酒店数据集上的F1值分别到达0.942和0.923,效果明显优于传统的卷积神经网络(CNN)模型和其他神经网络基准模型。

基于多层级图像表征的层次化注意力图像描述

图像描述是自然语言处理与计算机视觉中的热点研究领域。基于注意力机制与属性的图像描述方法取得了较大的成功。然而,这些方法仅处理单一的视觉特征或者图像属性进行图像描述,忽略了两者之间的内在联系。特别是在基于属性的图像描述方法中,没有考虑检测算法得到的图像属性中所混杂的噪声对图像描述产生的影响。文中提出了基于多层级图像表征的层次化注意力图像描述方法,通过提取图像的低层、中层以及高级的特征表示,在双层LSTM体系结构中利用层次化注意机制融合多层级图像表征进行图像描述。在Microsoft COCO数据集上的实验证明了本文提出的图像描述方法的有效性。

基于渐进式学习与多尺度增强的客体视觉注意力估计方法

视觉注意力机制已引起学界和产业界的广泛关注,但既有工作主要从场景观察者的视角进行注意力检测。然而,现实中不断涌现的智能应用场景需要从客体视角进行视觉注意力检测。例如,检测监控目标的视觉注意力有助于预测其后续行为,智能机器人需要理解交互对象的意图才能有效互动。该文结合客体视觉注意力的认知机制,提出一种基于渐进式学习与多尺度增强的客体视觉注意力估计方法。该方法把客体视域视为几何结构和几何细节的组合,构建层次自注意力模块(HSAM)获取深层特征之间的长距离依赖关系,适应几何特征的多样性;并利用方向向量和视域生成器得到注视点的概率分布,构建特征融合模块将多分辨率特征进行结构共享、融合与增强,更好地获取空间上下文特征;最后构建综合损失函数来估计注视方向、视域和焦点预测的相关性。实验结果表明,该文所提方法在公开数据集和自建数据集上对客体视觉注意力估计的不同精度评价指标都优于目前的主流方法。

基于多层注意力和消息传递网络的药物相互作用预测方法

药物相互作用(Drug-drug interaction,DDI)是指不同药物存在抑制或促进等作用.现有DDI预测方法往往直接利用药物分子特征表示预测DDI,而忽略药物分子中不同原子对DDI的影响.为此,提出基于多层次注意力机制和消息传递神经网络的DDI预测方法.该方法将DDI建模为通过学习基于序列表示的药物分子特征实现DDI预测的链接预测问题.首先,建立基于注意力机制和消息传递神经网络的原子特征网络,结合提出的基于分子质心的位置编码,学习不同原子及其相关联化学键的特征,构建基于图结构的药物分子特征表示;然后,设计基于注意力机制的分子特征网络,并通过监督和对比损失学习,实现DDI预测;最后,通过实验证明该方法的有效性和优越性.

基于层次注意力孪生网络的船舶身份甄别

为准确甄别船舶身份,提出一种基于层次注意力孪生网络的船舶身份甄别模型,结合时间注意力的长短期记忆和多尺度的卷积网络,从时间和语义信息层面对船舶轨迹进行表征,并采用以改进的孪生神经网络计算船舶轨迹表征向量间的差异度作为判断船舶身份的依据。为验证该模型的有效性,在厦门港及附近水域船舶轨迹数据基础上对比分析本文模型和常用机器学习模型甄别船舶身份的性能。结果表明,本文模型可在小规模数据集上学习得到泛化性较好的船舶身份甄别性能,在测试集上的F;分数为0.8971,而常用机器学习模型在相同测试集上仅能达到0.7774,可见,本文模型可满足船舶身份甄别和异常排查等相关应用的需要。

集成层级图注意力网络检测非均衡虚假评论

作为机器学习当前一大热点,图神经网络(GNN)模型近年来已逐渐开始结合用户评论应用于欺诈检测领域。但现实中汇总的用户评论涉及多个不同领域,可用信息复杂多样,海量的用户生成内容中欺诈信息通常也只占少数,基于GNN的相关检测方法对虚假评论的识别效果不甚理想。针对这种特征异构和数据分布不均衡的问题,将评论系统进行异构网络建模,提出一种新的集成层次图注意力网络(En-HGAN)识别方法。通过融合层次注意力结构,更加充分地利用异构网络中丰富的用户行为信息,为评论学习更加丰富的语义表征,并在集成学习Bagging框架下集成多个差异化的HGAN子模型,使用随机欠采样策略实现基学习器多样性聚合,从而减少有效信息丢失,增强对欺诈评论的检测能力。在YelpChi与Amazon真实数据集上的实验结果表明,En-HGAN方法具有良好的异常探测性能,和当前一些最新的方法相比,在数据类别倾斜分布的应用中显示En-HGAN方法对欺诈实体具有不错的鲁棒性。

基于层次化结构表示的数据到文本生成方法

最近的数据到文本生成方法广泛采用了编码器—解码器架构或其变体,但是这些方法无法识别数据中不同部分的信息的重要性,导致在选择适当的内容和排序方面表现不佳。针对这些问题,提出了一个基于层次化结构表示的数据到文本生成方法,它包括规划阶段和生成阶段,规划阶段通过实体级、记录级的多层次注意力来增强语义空间的表达能力,输出的计划代表重要内容的高层次表示,同时将计划输入给生成阶段的生成器得到最终的文本。通过在两个数据到文本生成的数据集上进行的广泛实验表明,该方法相比于已有的数据到文本生成方法,生成的文本对数据的描述更加准确,质量更高,该方法的提出为数据到文本生成的研究提供了一定的指导性作用。

融合用户和产品信息的多头注意力情感分类模型

针对传统情感分类方法提取文本信息单一的问题,提出了一种融合用户信息和产品信息的分层多头注意力的情感分类模型.首先,采用分层的多头注意力代替单一注意力,从多个视角获取有效信息.然后在每个注意力中都融入用户信息和产品信息,挖掘出用户和产品信息在多个子空间上的表现特征,使模型在多个子空间上得到更全局的用户偏好和产品特点对情感评分的影响.实验结果表明,模型在IMDB、Yelp2013、Yelp2014数据集上的准确率较之前基于神经网络的情感分析模型均有所提高.