基于对比学习的多兴趣感知序列推荐系统

序列推荐的近几年工作通过聚类历史交互物品或者利用图卷积神经网络获取交互的多层次关联信息来细化用户兴趣.然而,这些方法没有考虑具有相似行为模式的用户之间的相互影响以及交互序列中时间间隔不均匀对用户兴趣的影响.基于上述问题,提出一种基于对比学习的多兴趣感知序列推荐模型MIRec,一方面考虑了序列内部的物品依赖和位置依赖等局部偏好信息,另一方面通过图信息聚合机制获取相似用户之间的全局偏好信息;然后将融合局部偏好和全局偏好的用户表示输入胶囊网络中,学习用户交互序列中的多兴趣表示;最后通过对比学习使用户的历史交互序列靠近增强的交互序列,获得对时间间隔不敏感的用户多兴趣表示,为用户提供更准确的推荐.所提模型在2个真实数据集上进行了充分实验,实验结果验证了所提模型的有效性.

基于跨视图对比学习的知识感知推荐系统

知识感知推荐(KGR)领域普遍存在监督信号稀疏问题。为了解决这个问题,对比学习方法被越来越广泛地应用于KGR。但是,过去基于对比学习的KGR模型仍存在一些问题:首先,使用图卷积对所有邻居节点直接聚合,无法排除知识图谱中不必要邻居节点信息的干扰;此外,只关注全局视图的信息,忽略了局部特征,这会导致过平滑问题。为了解决以上问题,提出一种基于跨视图对比学习的知识感知推荐系统(knowledge-aware recommender system with cross-views contrastive learning,KRSCCL)。KRSCCL使用关系图注意力网络构建包含用户、物品和实体节点的全局视图;使用轻量级图卷积网络构建包含用户和物品节点的局部视图,强调局部特征,有效地缓解过平滑问题;最后,在构建的两个视图的图内和图间节点对之间进行对比学习,以充分提取知识图谱信号,优化用户和物品表示。为了验证模型的有效性,在3个不同领域的公开数据集上进行了实验,实验结果表明:关系图注意力网络可以有效排除复杂网络聚合时的噪声问题;引入局部视图可以优化节点表示生成,缓解过平滑问题;KRSCCL模型在这3个数据集上都表现良好,在电影领域数据集Movielens–1M上,推荐的评估指标F1分数较最强基线提升2.0%;在音乐领域数据集Last.FM上,F1分数较最强基线提升0.3%;在书籍领域数据集Book–Crossing上,F1分数较最强基线提升5.1%。证明了本文模型的有效性。

多知识点融合嵌入的深度知识追踪模型

知识追踪任务是根据学生历史答题记录追踪学生知识状态的变化,预测学生未来的答题情况.近年来,基于注意力机制的知识追踪模型在灵活性和预测性能上都明显优于传统知识追踪模型.但是现有深度模型大多只考虑了单一知识点题目的情况,无法直接处理多知识点题目,而智能教育系统中存在着大量的多知识点题目.此外,如何提高可解释性是深度知识追踪模型的关键挑战之一.为了解决这些问题,提出一种多知识点融合嵌入的深度知识追踪模型.所提模型考虑涉及多知识点的题目中知识点之间的关系,提出两种新颖的多知识点嵌入方式,并且结合教育心理学模型和遗忘因素提升预测性能和可解释性.实验表明所提模型在大规模真实数据集上预测性能上优于现有模型,并验证各个模块的有效性.

面向多跳问答的多视图语义推理网络

由于多跳知识图谱问答任务的复杂性,现有研究大多通过堆叠多层图神经网络以捕捉更大范围的高阶邻居信息。这种做法将多阶信息融合在一起,以损失节点判别性为代价获取更全局的信息,存在过平滑问题;并且,由于离节点越近的邻居置信度越高,将多阶邻居信息融合在一起的做法会忽略邻居的置信度。此外,多跳知识图谱问答存在许多数据集通常没有给定中间路径的监督信息的弱监督问题,会使模型在进行路径推理时缺乏有效的指导信息,导致模型推理能力降低。为了解决以上问题,论文提出了一种多视图语义推理网络,该网络利用全局和局部两种视图的信息共同进行推理。全局视图信息是指节点的多阶邻居信息,能够为推理提供更丰富的证据;局部视图信息则只关注节点的1阶邻居信息,更具有判别性,能够缓解全局视图信息存在的过平滑问题。同时,该网络将问题分解为多个子问题作为中间路径推理的指导信息,并从问题语义构成的均匀性和一致性出发,设计了一种新颖的损失函数以提升问题分解的质量,以提高模型中间路径推理的能力。论文方法在3个真实数据集上进行了大量实验,实验结果表明,多视图的语义信息能够为推理提供更加全面的证据,将问题分解为子问题的做法能够提高中间路径推理的准确性,证明了论文方法的有效性。

融入全局信息的抽取式摘要研究

抽取式自动文本摘要旨在从原文中抽取最能表示全文语义的句子组成摘要,由于具有简单高效的特点被广泛地应用和研究。目前,抽取式摘要模型大多基于句子间的局部关系得到重要性得分,从而选择句子,这种方式忽略了原文的全局语义信息,模型更容易受到局部非重要关系的影响。因此,提出一种融入全局语义信息的抽取式摘要模型。该模型在得到句子和文章的表示后,通过句子级编码器和全局信息提取模块学习句间关系以及全局信息,再将提取到的全局信息融入句向量中,最后得到句子得分以决定其是否为摘要句子。所提模型可以实现端到端的训练,并且在全局信息提取模块采用了基于方面抽取和神经主题模型两种全局信息提取技术。在公开数据集CNN/DailyMail上的实验结果验证了模型融入全局信息的有效性。

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.

基于图依存分析的情感原因对抽取任务

情感原因对抽取是情感分析任务中的子任务,旨在抽取出给定文档中的所有情感子句以及引起该情感所对应的原因子句。先前的研究在生成情感子句与原因子句表示时忽略了情感子句与原因子句之间的相互联系。为了解决上述问题,基于图依存分析的思想并融入了图注意力机制,提出了GAT-ECPE模型。该模型在获取到情感子句表示与原因子句表示时,将句向量作为节点输入图注意力层从而学习到子句之间关系的信息,而后进行双仿射映射得到情感原因对的编码表示。并且设置了多任务来将情感抽取与原因抽取任务建立联系。在ECPE数据集上的实验结果证明,该模型相较于先前的一系列模型,在评估指标上有所提升。

面向语义片段结构化自注意力的目标情感分析

目标情感分析任务中大多数方法都使用循环神经网络或注意力机制对句子进行建模,但循环神经网络很难进行并行化计算,且不能充分捕捉长距离的语义信息;注意力机制注重于词与词之间的相关性,忽略了语义片段的重要性.针对以上问题,论文提出了一种面向语义片段结构化自注意力的目标情感分析方法.首先通过BERT获取目标词、上下文和整个句子的嵌入表示,再利用注意力编码网络进行语义建模.其次,通过多头注意力机制获得目标与上下文的融合语义特征,通过结构化自注意力机制获得句子片段的语义特征.最终,在融合各个语义特征的基础上对目标的情感极性分类.本方法在SemEval 2014 Task4和SemEval 2015 Task12通用数据集上的实验表明,该方法对比基线方法获得了提升.

基于优化信息融合策略的关系抽取

现有的关系抽取方法提取全局特征和局部特征,并将其连接作为关系表示进行分类.然而,简单的连接操作意味着将各种特征视为同等重要的信息来处理,忽略了它们对关系抽取的不同贡献程度,限制了模型的效果.实际上,在复杂的语境下,不同信息的重要程度大相径庭.针对此问题,提出了一种基于优化信息融合策略的关系抽取方法.首先,通过BERT获得句向量以及实体表示,将句子表示分别融入到两实体表示中,以获得两种复合特征.随后,采用一种自适应的信息学习策略融合两种特征作为关系表示用于分类.该方法融合了输入序列的全局和局部信息,并自动聚焦于贡献更大的部分.在TACRED、TACREV、Semeval2010 Task8数据集上的实验表明,该方法的F1值优于当前最优模型.