融合多维语义表示的概率矩阵分解模型

协同过滤作为推荐系统核心技术,面临严重的评分数据稀疏性问题.融合物品文本信息可以有效的解决数据稀疏性问题,然而,目前的方法侧重于提取文本的单维特征,忽略了物品语义表示的多维特性.深度挖掘物品内容的多维特性可以更加精细化描述物品的语义信息,有助于提升推荐效果.为此,本文提出基于胶囊网络的概率生成模型.模型利用胶囊网络挖掘文本的多维语义特征,并以正则化方式融入概率矩阵分解框架,建立用户与物品之间的内在关系.实验结果表明本文提出的模型具有更高的评分预测精度.

基于BERT-PGN模型的中文新闻文本自动摘要生成

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。