自注意力下时空-语义相融合的POI序列推荐

近年来,随着基于位置的社交网络(Location-Based Social Network, LBSN)不断发展,POI序列推荐逐渐成为近年来研究的热点问题.现有的POI序列推荐方法仅仅按照时间的先后顺序建模用户历史签到序列,默认用户POI轨迹中连续POI之间具有相等的时间间隔,忽略了用户签到记录之间的时间间隔影响.另外,POI之间的地理距离以及语义信息也是影响推荐准确性的重要因素.基于此,本文提出自注意力下时空-语义相融合的POI序列推荐模型(POI sequence recommendation model based on the integration of spatiotemporal and semantics under self-attention, SA-TDS-PRec).首先,根据用户的实际签到时间建模POI轨迹.其次,融合POI绝对位置、时空间隔以及语义相关信息.最后利用自注意力机制捕捉用户动态偏好的演化,从而提高POI推荐的准确性.在公开数据集Gowalla和Yelp上进行可扩展实验.结果表明,该模型优于目前主流的基准模型,有效提升推荐结果准确性.

Parameter Self - Learning of Generalized Predictive Control Using BP Neural Network

This paper describes the self—adjustment of some tuning-knobs of the generalized predictive controller(GPC).A three feedforward neural network was utilized to on line learn two key tuning-knobs of GPC,and BP algorithm was used for the training of the linking-weights of the neural network.Hence it gets rid of the difficulty of choosing these tuning-knobs manually and provides easier condition for the wide applications of GPC on industrial plants.Simulation results illustrated the effectiveness of the method.

Self - Crosslinking Behavior of Self - Emulsion Water - Based Polyure-thane Coating Agents

The relation between structures and properties of polyurethane are investigated by modern physical and chemical methods.The results obtained are as follows:the effects of the content of self-crosslinking agent on the properties of polyurethane,i.e.,dispersion stability,dynamical viscoelasticity and mechanical properties are discussed.It is found that the optimum molar ratio of epichlorohydrin and diethylenetriamine is 1:2.A mois-

Culture Self- Consciousness in Transmission of Chinese Philosophy from the Perspective of English Globalization -- Taking the Belt and Road Initiative for Example

The Belt and Road Initiative contains the aspiration of Chinese nation to pursue ideological freedom and desire of strengthening international exchanges and cooperation. This paper takes the Belt and Road Initiative for example,emphasizing the interpretation of the inheritance and development of Chinese culture so as to study the importance of Culture Self-Consciousness in Chinese Philosophy,in the context of English globalization. That is to say,this paper stresses the spirits and the stand of nation 's demonstration on pursuing peace,cooperation and sustainable development in the civilization continuity from traditional China to the contemporary China,with practical philosophic view.

基于元学习个性化推荐研究综述

推荐系统作为缓解“信息过载”的工具,为用户过滤冗余信息并提供个性化服务,近年来得到了广泛应用。然而,实际推荐场景中,通常存在冷启动与不同推荐算法难以根据实际环境自适应选择等问题。元学习因其具有基于少量训练样本快速学会新知识和技能的优点,被越来越多地应用于推荐系统相关研究中。对现有基于元学习技术缓解推荐系统冷启动问题以及自适应推荐问题的主要研究进行探讨。首先,分析了基于元学习推荐在上述2个方面已取得的相关研究进展;然后,指出了现有元学习推荐研究存在难以适应复杂任务分布、计算代价高和容易陷入局部最优等问题;最后,对元学习在推荐系统领域的一些最新研究方向进行了展望。

基于层级过滤器和时间卷积增强自注意力网络的序列推荐

针对实际推荐场景中用户意外交互产生的噪声问题,以及自注意力机制中注意力分布分散导致用户短期需求偏移难以捕获的问题,提出一种基于层级过滤器和时间卷积增强自注意力网络的序列推荐(FTARec)模型。首先,通过层级过滤器过滤原始数据中的噪声;其次,结合时间卷积增强自注意力网络和解耦混合位置编码获取用户嵌入,该过程通过时间卷积增强补充自注意力网络在项目短期依赖建模上的不足;最后,结合对比学习改善用户嵌入,并根据最终用户嵌入进行预测。相较于自注意力序列推荐(SASRec)、过滤增强的多层感知器序列推荐方法(FMLPRec)等现有序列推荐模型,FTARec在3个公开数据集Beauty、Clothing和Sports上取得了更高的命中率(HR)和归一化折损累计增益(NDCG),相较于次优的DuoRec,HR@10分别提高了7.91%、13.27%和12.84%,NDCG@10分别提高了5.52%、8.33%和9.88%,验证了所提模型的有效性。

结合自我特征和对比学习的推荐模型

针对图神经网络推荐中图卷积在消息传递过程的嵌入表示过平滑和噪声问题,提出一种结合自我特征和对比学习的推荐模型(SfCLRec)。采用预训练-正式训练架构训练模型,首先预训练用户和项目的嵌入表示,通过融合节点自我特征维持节点本身的特征唯一性,并引入层级对比学习任务减少来自高阶邻居节点中的噪声;其次,在正式训练阶段根据评分机制重新构建协同图邻接矩阵;最后,根据最终嵌入得到预测评分。实验结果表明,相较于LightGCN、SimGCL(Simple Graph Contrastive Learning)等现有图神经网络推荐模型,SfCLRec在3个公开数据集ML-latest-small、Last.FM和Yelp中均取得了较好的召回率和归一化折损累计增益(NDCG),验证了SfCLRec的有效性。

基于层间融合滤波器与社交神经引文网络的推荐算法

推荐算法是一种用于解决信息过载问题的方法,引文推荐通过引文上下文能够自动匹配候选论文列表。现有基于神经引文网络模型在引文上下文数据预处理的过程中,存在文本噪声和上下文学习不充分的问题。为此,提出一种基于层间融合滤波器和社交神经引文网络的推荐算法FS-Rec。首先,利用具有层间融合滤波器的BERT模型预处理引文上下文,在频域内从所有频率中提取有意义的特征,缓解引文上下文数据的噪声,同时在频域中对多层信息进行融合,增强上下文表示学习的能力;然后,在引文作者嵌入中引入社交关系,与其他引文信息嵌入通过编码器获得表示,将这些表示与经过BERT预训练的引文上下文表示进行融合,得到最终表示;最后,根据最终表示生成引文文本预测。实验结果表明,相较于现有的上下文引文推荐模型,FS-Rec在2个基准数据集arXivCS和PubMed取得了更高的召回率和平均倒数排名(MMR),证明了模型的有效性。

采用偏好编辑的轻量自注意降噪序列推荐模型

在自注意序列推荐中,除项目嵌入矩阵带来巨大内存消耗问题和自注意层中的不相关信息带来噪声问题,还存在如何在用户行为数据稀疏的情况下准确提取和表示用户偏好的关键问题。针对这些问题,提出一种采用偏好编辑的轻量自注意降噪序列推荐模型(LDSR-PE)。采用上下文感知的动态嵌入组合方案缓解内存消耗问题,在每个自注意层上附加可训练的二进制掩膜,实现自适应修剪不相关噪声项。为更好训练模型,设计基于偏好编辑的自监督学习策略,促使序列推荐模型在不同的交互序列之间区分公共和唯一的偏好。在3个公开数据集上的实验结果表明,LDSR-PE优于主流先进推荐模型。

基于平滑图掩码编码器的顺序推荐模型

针对现有顺序推荐模型在处理推荐任务时由于数据集标签稀缺和用户交互数据噪声导致性能降低的问题,提出基于平滑图掩码编码器的顺序推荐模型(Smoothing Graph Masked Encoder Recommender System,SGMERec).首先,设计数据平滑编码器处理数据,提升数据质量,降低极端值和数据噪声的负面影响.然后,设计图掩码编码器,自适应提取全局项目的转换信息,构造关系图帮助模型补全缺失的标签数据,提高模型对于标签稀缺问题的应对能力.最后,运用批标准化,归一化每个神经网络层的输入分布,确保每层输入的分布相对稳定,降低用户序列的稀缺标签比例.在3个真实数据集上的实验表明,SGMERec具有一定的性能提升.

融合自注意力和图卷积的多视图群组推荐

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型(MVGR),设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率(HR)和归一化折损累计增益(NDCG)在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。

融合自监督的协同注意图学习会话推荐

基于图神经网络的会话推荐目的是利用给定的匿名交互序列预测用户下次将交互的潜在项目.为解决图神经网络方法中存在的过度平滑问题和现有的会话推荐忽略了数据稀疏性影响,以及因使用交叉熵而产生严重的过拟合问题.本文提出了一种融合自监督的协同注意图学习会话推荐模型(SI-CAGL).首先SI-CAGL在学习到会话中项目的准确表示,其次使用协同注意图学习与修改自注意力机制的方法进行自监督学习,最后使用修正边缘平滑函数与归一化相结合的方法进行预测.在两个真实数据集上进行多次实验,与先进基线模型相比,SI-CAGL在Diginetica上Recall@20和MRR@20至少提升了3.28%和3.38%,在Gowalla上Recall@20和MRR@20至少提升了2.88%和2.13%,推荐性能有明显提升.

结合超图对比学习和关系聚类的知识感知推荐算法

结合知识图谱的推荐算法通过引入知识图谱,获得项目的辅助信息,从而实现更好的推荐效果。然而推荐的过程中存在知识图谱中关系长尾分布、用户项目交互数据稀疏和异构信息利用不平衡的问题。针对这些问题,提出了一种结合超图对比学习和关系聚类的知识感知推荐算法(HC-CRKG)。通过关系聚类的方式重构知识图谱,缓解了知识图谱中关系的长尾分布问题;构建用户-项目-实体异构图,利用一种结合注意力机制的图卷积网络学习用户、项目的异构图嵌入;同时使用一种参数化的超图卷积网络,学习用户、项目的超图嵌入;在异构图嵌入和超图嵌入之间进行对比学习,为模型引入自监督信号,缓解数据稀疏性问题;将异构图嵌入和超图嵌入相结合,用于后续的推荐预测,进一步缓解了异构信息利用不平衡问题。模型在MovieLens-1M、Book-Crossing和Last.FM三个公开数据集上与CKAN、KGIC、VRKG4Rec等基线模型进行对比实验,实验结果表明在AUC、F1和Recall@K指标上,模型均取得了不同程度的提升。

融合时间感知和多兴趣提取网络的序列推荐

针对序列推荐任务中的时间动态性和多重兴趣建模问题,提出一种时间感知的项目嵌入方法,用于学习项目之间的时间关联性。在此基础上,提出一种融合时间感知和多兴趣提取网络的序列推荐(time-aware multi-interest sequence recommendation,TMISA)方法。TMISA采用自注意力序列推荐模型作为局部特征学习模块,以捕捉用户行为序列中的动态偏好;通过多兴趣提取网络对用户的全局偏好进行建模;引入门控聚合模块将局部和全局特征表示动态融合,生成最终的用户偏好表示。实验证明,在5个真实推荐数据集上,TMISA模型表现出卓越性能,超越了多个先进的基线模型。

融合多个性化桥和自监督学习的跨域推荐算法

针对跨域推荐系统中目标域中项目交互较少的用户,提出一种融合多个性化桥和自监督学习的跨域推荐算法(MS-PTUPCDR)。首先,在目标域加入变分二部图编码器,使用变分推理框架生成潜在变量,目标域用户表示聚合其同构邻居信息。其次,将用户单一偏好桥扩展为用户多个性化偏好桥,将用户在多源域可转移的用户因子转移到目标域,在目标域加入多头注意力机制融合分别来自不同源域转换的用户潜在因子作为自监督学习的辅助任务。最后,在目标域中将聚合用户邻居因子和融合后的用户多源域转移用户因子进行自监督学习。在目标域通过用户自监督学习后的用户因子和目标域项目因子点积进行目标域项目评分预测。算法在Amazon和MovieLens两个数据集上进行实验,结果表明算法在MAE和RMSE两个评价指标上优于对比基线算法,在两个数据集上与最优对比基线算法相比,MAE平均提升1.96%,RMSE平均提升1.92%,验证了算法的有效性。

价格引导双流自注意力序列推荐模型

针对传统序列推荐算法捕获交互序列中的长期依赖性能力较弱,以及由于数据稀疏性导致推荐结果缺乏个性化的问题,提出了一种价格引导双流自注意力序列推荐模型。通过融合项目价格信息分析用户价格偏好并辅助计算项目相似度,提高推荐结果的个性化程度;将两种信息输入到两个独立的自注意力机制,学习不同位置的重要性、提取其特征,并将输出进行拼接后输入到门控单元学习时间依赖性,提高模型的长期依赖性建模能力。在三个公开数据集上验证了模型的有效性,命中率和归一化折损累积增益最低提升1.11%,最高提升5.34%。

时间感知的双塔型自注意力序列推荐模型

用户的偏好具有聚合性和漂移性。现有推荐算法在序列建模框架中融合了交互时间相关性的建模,取得了很大的性能改善,但它们在建模时仅考虑了交互的时间间隔,使得它们在捕捉用户偏好的时间动态方面存在局限性。首先,提出了一种新的时间感知的位置嵌入方法,将时间信息与位置嵌入相结合,帮助模型学习时间层面的项目相关性。随后,在时间感知位置嵌入基础上,提出了时间感知的双塔自注意力序列推荐模型(TiDSA)。TiDSA包含项目级和特征级的自注意力模块,分别从项目和特征两个角度对用户偏好随时间变化的过程进行分析,实现了对时间、项目和特征的统一建模,并且在特征级自注意力模块,设计了多维度的自注意力权重计算方式,从特征维度、项目维度和项目与特征交叉维度充分学习特征之间的相关性。最后,TiDSA将项目级与特征级的信息相融合得到最终的用户偏好表示,并根据该表示为用户提供可靠的推荐结果。四个真实推荐数据集的实验结果表明,TiDSA的性能优于许多先进的基线模型。

多尺度行为路径自注意力机制推荐算法

基于自注意力机制的序列推荐算法在捕获用户交互序列的全局特征方面表现出了强大的能力,得到了广泛应用。然而交互序列当中只有一部分关键行为会对用户未来行为的演化起到决定性作用,其余冗余的噪声行为会干扰推荐结果的准确性。同时,单一尺度的自注意力机制难以从不同粒度上捕获用户行为。该文提出基于行为路径的多尺度自注意力机制序列推荐算法,在不同粒度上动态地捕获对最终推荐起到决定性作用的行为演化模式,屏蔽冗余的非关键行为,提高了推荐系统的用户体验。该模型在三个公开数据集上与同类型方法进行比较,实验结果显示,该文所提出的算法在不同的评估指标上较基线方法均有一定的提升,验证了模型的有效性。

基于反向延长增强的对抗生成网络推荐算法

针对现有序列推荐模型因数据稀疏性严重难以达到最优性能的问题,提出了一种基于反向延长增强的生成对抗网络推荐算法。该方法通过对交互序列进行延长增强来获取高质量的训练数据,以缓解数据稀疏性带来的模型训练不充分的问题。首先,使用伪先验项将项目序列进行反向延长,深化项目序列特征;其次,延长增强的对象由短序列更改为所有用户序列,充分挖掘长序列中富含的上下文信息,缓解了增广序列中伪先验项占比过大而带来的噪声问题;最后,使用共享项目嵌入的生成对抗网络,通过判别器与生成器联合训练以提高模型推荐性能。在三个公开数据集上的实验结果表明,所提模型的命中率(HR@N)和归一化折损累计增益(NDCG@N)相较于最优基线ELECRec平均提升30%,验证了反向延长增强对挖掘序列特征和缓解数据稀疏性的有效性。

融入时间信息的预训练序列推荐方法

序列推荐旨在根据用户与项目的历史交互序列,学习用户动态偏好,为用户推荐后续可能感兴趣的项目。基于预训练模型在适应下游任务方面具有优势,预训练机制在序列推荐中备受关注。现有序列推荐预训练方法忽略了现实中时间对用户交互行为的影响,为了更好地捕获用户与项目交互的时间语义,提出了融入时间信息的预训练序列推荐模型TPTS-Rec(Time-aware Pre-Training method for Sequence Recommendation)。首先,在嵌入层引入时间嵌入矩阵以获取用户交互项目与时间的关联信息。然后,在自注意力层采用同一时间点采样的方法以学习项目间的时间关联信息。最后,在微调阶段从时间维度扩增用户交互序列长度以缓解数据稀疏性问题。在真实数据集上的对比实验结果表明,与基线模型相比,所提模型TPTS-Rec的推荐效果有显著提升。