一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.

邻域信息分层感知的知识图谱补全方法

知识图谱补全(KGC)旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络(GCN)应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。

基于分层Attention机制的Bi-GRU中文文本分类模型

针对基于神经网络的文本分类模型在训练过程中容易发生过拟合及忽略句子中的关键词的问题,提出了一种基于分层Attention机制的Bi-GRU中文文本分类模型。该模型引入了分层的思想,利用双向门控循环神经网络学习词层面和句子层面的文本表示,采用Self-Attention层次模型获取词和句子对于文本分类影响程度的信息;通过绑定共享嵌入层和softmax层之间的权重,在减少模型中参数的同时采用AMSBound优化方法快速有效地获取最优权重矩阵。对常用的两个中文数据集Fudan Set和THUCNews,本文模型对中文较长文本分类数据集Fudan Set进行实验,实验结果表明,本文模型在精度、召回率、F-score等指标上均优于Text-CNN模型、Attention-BiLSTM模型、Bi-GRU_CNN模型,精度、召回率、F-score指标分别提高了5.9%、5.8%、4.6%。

结合主题和分层注意混合网络的文本情感分析

文本情感分析一直以来都是自然语言处理的研究热点,近几年,深度神经网络在文本情感分析任务中取得了不错的效果。尽管取得了进展,但提出的模型没有利用整个语料库的统计信息,也没有将文档的体系结构的知识纳入到模型中。针对上述问题,本文提出了一种结合主题和分层注意混合网络的文本情感分析模型。首先,利用主题模型对数据集的主题进行提取,并结合文本的词嵌入和句子嵌入来丰富特征空间,以解决传统神经网络无法融入数据统计信息的问题;然后,采用卷积神经网络来降低特征空间的维度,同时,学习关键的主题信息;最后,使用带有主题感知的分层注意网络对模型进行训练,来关注文本中更重要的单词和句子。实验结果表明,提出的模型具有更好的分类性能,能够更好地揭示文本的情感。

基于动态标签的关系抽取方法

针对远程监督数据集的关系抽取研究方法存在着大量标签噪声的问题,提出了一种作用于分层注意力机制关系抽取模型的动态标签方法。首先,提出了一种根据关系类别相似性生成动态标签的概念。由于相同的关系标签包含相似的特征信息,计算特征信息的关系类别相似性有助于生成与特征信息相对应的动态标签。其次,利用动态标签方法的评分函数来评价远程监督标签是否为噪声,以决定是否需要生成新的标签代替远程监督标签,通过调整远程监督标签来抑制标签噪声对模型的影响。最后,根据动态标签来更新分层注意力机制以关注有效实例,重新学习每个有效实例的重要性,进一步抽取关键的关系特征信息。实验结果表明,相较于原始的分层注意力机制关系抽取模型,所提方法在Micro和Macro分数上分别有1.3个百分点和1.9个百分点的提升,实现了噪声标签的动态纠正,提升了模型的关系抽取能力。

基于生成式-判别式混合模型的可解释性文档分类

现有可解释性文档分类常忽略对文本信息的深度挖掘,未考虑单词与单词上下文、句子与句子上下文之间的语义关系.为此,文中提出基于生成式-判别式混合模型的可解释性文档分类方法,在文档编码器中引入分层注意力机制,获得富含上下文语义信息的文档表示,生成精确的分类结果及解释性信息,解决现有模型对文本信息挖掘不够充分的问题.在PCMag、Skytrax评论数据集上的实验表明,文中方法在文档分类上性能较优,生成较准确的解释性信息,提升方法的整体性能.

融合篇章表征的事件指代消解研究

事件指代消解任务比实体指代消解难度大,主要原因为事件描述在非结构化文本中分布稀疏,且不具备同指关系的单链占很大比例,同时事件自身承载的语义信息比实体更加丰富。为了准确地抽取文本中的同指事件,针对以上特点,提出一种融合篇章表征的事件指代消解模型。该模型通过CRF有效地区分非事件句、单链以及同指链,同时利用分层注意力机制捕捉句子级别和篇章级别的重要信息。在KBP2015和2016数据集上进行的事件指代消解实验验证了该模型的有效性,在CoNLL评测标准下F1值达到43.07%。