结合自我特征和对比学习的推荐模型

针对图神经网络推荐中图卷积在消息传递过程的嵌入表示过平滑和噪声问题,提出一种结合自我特征和对比学习的推荐模型(SfCLRec)。采用预训练-正式训练架构训练模型,首先预训练用户和项目的嵌入表示,通过融合节点自我特征维持节点本身的特征唯一性,并引入层级对比学习任务减少来自高阶邻居节点中的噪声;其次,在正式训练阶段根据评分机制重新构建协同图邻接矩阵;最后,根据最终嵌入得到预测评分。实验结果表明,相较于LightGCN、SimGCL(Simple Graph Contrastive Learning)等现有图神经网络推荐模型,SfCLRec在3个公开数据集ML-latest-small、Last.FM和Yelp中均取得了较好的召回率和归一化折损累计增益(NDCG),验证了SfCLRec的有效性。

基于偏好感知的去噪图卷积网络社交推荐

协同过滤推荐通常面临用户-项目交互数据稀疏的挑战,社交推荐引入用户社交关系来缓解数据稀疏性问题。多数基于图神经网络(GNN)的社交推荐系统在消息传递过程中无法根据用户偏好聚合高阶邻居信息,造成嵌入表示过平滑和噪声问题。针对上述问题,提出一种基于偏好感知的去噪图卷积网络的社交推荐模型PD-GCN。使用无监督学习将具有相似偏好的用户分配到用户-项目交互子图和社交子图,在子图中进行更高阶的图卷积运算,缓解了现有模型的过平滑问题。从全局和局部的角度出发,通过考虑相同偏好用户节点的特征相似度和邻域节点偏好分布多样性识别并去除噪声节点,增强模型对用户-项目交互和社交关系噪声的鲁棒性。在LastFM、Ciao、Yelp 3个公共数据集上的实验结果表明,PD-GCN模型在召回率和归一化折损累计增益两个指标上相较于其他主流模型表现出更优的性能,验证了PD-GCN模型的有效性。

基于层间融合滤波器与社交神经引文网络的推荐算法

推荐算法是一种用于解决信息过载问题的方法,引文推荐通过引文上下文能够自动匹配候选论文列表。现有基于神经引文网络模型在引文上下文数据预处理的过程中,存在文本噪声和上下文学习不充分的问题。为此,提出一种基于层间融合滤波器和社交神经引文网络的推荐算法FS-Rec。首先,利用具有层间融合滤波器的BERT模型预处理引文上下文,在频域内从所有频率中提取有意义的特征,缓解引文上下文数据的噪声,同时在频域中对多层信息进行融合,增强上下文表示学习的能力;然后,在引文作者嵌入中引入社交关系,与其他引文信息嵌入通过编码器获得表示,将这些表示与经过BERT预训练的引文上下文表示进行融合,得到最终表示;最后,根据最终表示生成引文文本预测。实验结果表明,相较于现有的上下文引文推荐模型,FS-Rec在2个基准数据集arXivCS和PubMed取得了更高的召回率和平均倒数排名(MMR),证明了模型的有效性。

基于层级过滤器和时间卷积增强自注意力网络的序列推荐

针对实际推荐场景中用户意外交互产生的噪声问题,以及自注意力机制中注意力分布分散导致用户短期需求偏移难以捕获的问题,提出一种基于层级过滤器和时间卷积增强自注意力网络的序列推荐(FTARec)模型。首先,通过层级过滤器过滤原始数据中的噪声;其次,结合时间卷积增强自注意力网络和解耦混合位置编码获取用户嵌入,该过程通过时间卷积增强补充自注意力网络在项目短期依赖建模上的不足;最后,结合对比学习改善用户嵌入,并根据最终用户嵌入进行预测。相较于自注意力序列推荐(SASRec)、过滤增强的多层感知器序列推荐方法(FMLPRec)等现有序列推荐模型,FTARec在3个公开数据集Beauty、Clothing和Sports上取得了更高的命中率(HR)和归一化折损累计增益(NDCG),相较于次优的DuoRec,HR@10分别提高了7.91%、13.27%和12.84%,NDCG@10分别提高了5.52%、8.33%和9.88%,验证了所提模型的有效性。

采用偏好编辑的轻量自注意降噪序列推荐模型

在自注意序列推荐中,除项目嵌入矩阵带来巨大内存消耗问题和自注意层中的不相关信息带来噪声问题,还存在如何在用户行为数据稀疏的情况下准确提取和表示用户偏好的关键问题。针对这些问题,提出一种采用偏好编辑的轻量自注意降噪序列推荐模型(LDSR-PE)。采用上下文感知的动态嵌入组合方案缓解内存消耗问题,在每个自注意层上附加可训练的二进制掩膜,实现自适应修剪不相关噪声项。为更好训练模型,设计基于偏好编辑的自监督学习策略,促使序列推荐模型在不同的交互序列之间区分公共和唯一的偏好。在3个公开数据集上的实验结果表明,LDSR-PE优于主流先进推荐模型。

基于排序蒸馏的序列化推荐算法

为解决当前基于知识蒸馏的推荐算法排名有效性和效率低,以及现有知识蒸馏模型更强调的是静态和单一知识迁移的问题,提出一种基于排序蒸馏的序列化推荐算法。训练一个性能优越、规模大的教师模型,训练一个符合移动终端设备的小模型即学生模型,使学生模型在教师模型的指导下学习排序。学生模型实现了与教师模型相似的排名性能,且学生模型规模较小提高了在线推荐效率。通过在数据集MovieLens和Gowalla上的实验,验证了该模型增强了学生模型的学习效果,缓解了学生模型学习不充分导致排名不佳的问题。模型可以自然地运用于序列化推荐的模型中,具有很好的通用性。

基于傅里叶变换与近端采样的序列推荐算法

传统推荐算法比较注重于模型本身对于推荐效果的提升,实际上数据质量对于算法的影响更为重要,但目前在推荐算法领域对于数据的科学处理方法比较零散,没有形成一个系统的框架。针对以上问题,基于傅里叶变换与近端序列采样的数据预处理,结合SASRec提出可以普遍应用的序列推荐框架FTRRec。首先通过傅里叶变换将序列数据在时域和频域中相互转换,并根据序列数据的特点,过滤序列中的无用信息,其次使用近端序列采样替换传统的滑动窗口采样法,加速样本采样的同时,提升模型对于序列的特征捕获能力。通过在5个公开数据集上的实验,将框架应用于三个不同的主流推荐算法时,每种模型均有3%-5%的提升。

流式大数据平台下的弹性数据迁移能效优化策略

针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。

图神经网络节点分类任务基准测试及分析

图神经网络(Graph Neural Network,GNN)模型由于采用端到端的模型架构,在训练过程中能够更好地将节点隐藏特征的学习和分类目标协同起来,相比图嵌入(Graph Embedding)的方法,其在节点分类等任务上得到了较大的性能提升。但是,已有图神经网络模型实验对比阶段普遍存在的数据集类型单一、样本量不足、数据集切分不规范、对比模型规模及范围有限、评价指标单一、缺乏模型训练耗时对比等问题。为此,文中选取了包括cora,citeseer,pubmed,deezer等在内的来自不同领域(引文网络、社交网络及协作网络等)的共计20种数据集,以准确率、精确率、召回率、F-score值及模型训练耗时为多维评价指标,在FastGCN,PPNP,ChebyNet,DAGNN等17种主流图神经网络模型上,进行了全面且公平的节点分类任务基准测评,进而为真实业务场景下的模型选择提供了决策参考。通过基准测试实验发现,一方面,影响模型训练速度的因素排名依次是节点属性维度、图节点规模及图边的规模;另一方面,并不存在赢者通吃的模型,即不存在在所有数据集下全都表现优异的模型,特别是在公平的基准测试配置环境下,结构简洁的模型反而比复杂的GNN模型有着更好的性能表现。

基于跨尺度Vision Transformer的深度哈希算法

为了解决当前深度哈希算法提取跨尺度特征能力不足以及难以拟合数据的全局相似度分布问题,提出了一种基于跨尺度Vision Transformer的深度哈希算法。首先,利用金字塔卷积和跨尺度注意力机制构建了一种多层次编码器,来捕获图像丰富的语义信息;其次,提出了一种基于代理的深度哈希算法,该算法为每个类别生成哈希代理,使得哈希码可以学习具有鉴别性的类别特征,从而缩小与同类别哈希代理的距离并拟合数据全局相似性分布;最后,在哈希代理与哈希码之间添加角度边距项,扩大类内相似性和类间差异性,以生成具有高判别性的哈希码。通过在CIFAR-10、ImageNet-100、NUS-Wide、MS COCO上进行的实验结果表明,该算法的平均检索精度比次优方法分别提升4.42%、19.61%、0.35%、15.03%,验证了该算法的有效性。

NLGAE:一种基于改进网络结构及损失函数的图自编码器节点分类模型

利用图嵌入方法将图的拓扑结构、节点属性等高维异构信息映射到稠密的向量空间,是解决图数据由非欧空间性带来的计算不友好、邻接矩阵的高度空间复杂性等问题的主流方法。在对经典图自编码器模型GAE与VGAE所存在的问题进行分析的基础上,尝试从编码器、解码器及损失函数3个方面对基于图自编码器的图嵌入方法进行改进,提出一种基于改进网络结构及损失函数的图自编码器模型NLGAE。首先,在模型结构设计上,一方面将编码器中堆叠的图卷积层倒置,以解决GAE与VGAE中无参Decoder缺乏灵活性并且表达能力不足的问题,另一方面引入注意力机制的图卷积网络GAT来解决节点之间的权重系数固化的问题;其次,重新设计的损失函数能够同时考虑到图结构与节点特征属性两部分信息。对比实验结果表明:NLGAE作为一种无监督模型,能够学习到高质量的节点嵌入特征,在下游节点分类任务上优于DeepWalk,GAE,GrpahMAE,GATE等经典无监督模型,并且在选择合适分类模型的情况下,甚至优于GAT和GCN等有监督的图神经网络模型。

基于TreeLSTM的查询基数估计

针对传统的数据库管理系统无法很好地学习谓词之间的交互以及无法准确地估计复杂查询的基数问题,提出了一种树形结构的长短期记忆神经网络(Tree Long Short Term Memory, TreeLSTM)模型建模查询,并使用该模型对新的查询基数进行估计.所提出的模型考虑了查询语句中包含的合取和析取运算,根据谓词之间的操作符类型将子表达式构建为树形结构,根据组合子表达式向量来表示连续向量空间中的任意逻辑表达式.TreeLSTM模型通过捕捉查询谓词之间的顺序依赖关系从而提升基数估计的性能和准确度,将TreeLSTM与基于直方图方法、基于学习的MSCN和TreeRNN方法进行了比较.实验结果表明:TreeLSTM的估算误差比直方图、MSCN、TreeRNN方法的误差分别降低了60.41%,33.33%和11.57%,该方法显著提高了基数估计器的性能.

简化且多层结合的知识图谱卷积网络推荐算法

将知识图谱和图卷积网络共同用于协同过滤可以很好地提升推荐质量。原图卷积网络在每层节点更新时使用的特征转换矩阵对推荐任务来说是冗余的,而且现有的基于知识图谱卷积网络的推荐方法使用最后一层卷积层学到的节点表示作为目标节点的最终向量表示,而忽视了前几层目标节点的向量表示。针对这两个问题,提出了简化且多层结合的知识图谱卷积网络推荐算法(LMCR)。该算法在各阶卷积层执行节点更新操作时,去除特征转换矩阵并根据数据的稀疏性有选择地保留或舍去自连接;在计算目标节点的最终表示时,结合各卷积层学到的目标节点表示。在MovieLens-20M和Last.FM数据集上进行的实验显示LMCR优于其他推荐模型,并验证了去除特征变换矩阵和多层结合操作对提升推荐性能的有效性。

小波卷积增强的对比学习推荐算法

推荐算法是一种用于解决信息过载问题的方法,序列化推荐通过建模用户购买的物品序列预测下一个物品。现有的序列化推荐算法通常忽视用户行为序列中的噪声、跨序列信息和物品间的组合依赖等问题,导致推荐性能受限。为此,提出一种小波卷积增强的对比学习推荐算法WCLR。利用数据的内在相关性获得自监督信号,并根据预训练的方法来增强数据表示。给出3个辅助的自监督学习任务,利用信息最大化原理学习属性、物品、序列与邻居序列的相关性,通过互信息最大化提供一种统一的方式描述不同类型数据间的相关性。由于小波卷积网络能提取物品的组合依赖,降低用户交互序列中的噪声,设计一个多核小波卷积模块,通过多尺寸用户序列多方面捕获用户的潜在兴趣,将自监督学习和小波卷积融入到推荐算法模型中,降低序列数据稀疏性和噪声,提高推荐精度。在LastFM、Beauty和Toys 3个数据集上的实验结果表明,与8个序列化推荐模型相比,WCLR算法的命中率、归一化折损累计增益和平均倒数秩分别提升了3.30%、1.47%和2.17%。

基于对比学习和傅里叶变换的序列推荐算法

提出一种基于自注意力机制和傅立叶变换的序列推荐算法CSFTRec。通过过滤原始数据中的噪声,最大限度地提高自注意力机制对序列数据的特征捕捉能力。根据对比学习的特点,在贝叶斯个性化排名的基础上引入一种新的对比损失,用于联合训练,可以缩短不同相似序列之间的距离。在8个公共数据集上的实验表明,CSFTRec的收敛速度更快,推荐精度有3%~5%的提高,更适合处理序列数据。

双通道异构图神经网络序列推荐算法

基于用户行为序列的推荐系统的目的是根据上一次序列的顺序预测用户的下一次点击。目前的研究一般是根据用户行为序列中项目的转换来了解用户偏好。然而,行为序列中的其他有效信息被忽略,如用户配置文件,这会导致模型无法了解用户的特定偏好。提出了一种基于双通道异构图神经网络的用户行为序列推荐算法(DC-HetGNN),该方法通过异构图神经网络通道和异构图线图通道学习行为序列嵌入,并捕获用户的特定偏好。DC-HetGNN会根据行为序列构造包含各种类型节点的异构图,可以捕获项目、用户和序列之间的依赖关系。其次,异构图神经网络通道和异构图线图通道捕获物品复杂转换及序列之间的交互信息,并学习包含用户信息的物品嵌入。最后,考虑到用户长期和短期偏好的影响,将局部和全局序列嵌入与注意力网络相结合,得到最终的序列嵌入。在两个电商用户行为序列数据集Diginetica和Tmall上进行的实验表明,DC-HetGNN与新近模型FGNN相比在指标平均倒数排名(MRR)和召回率(Recall)中平均分别提升2.08%和0.78%,与TGSRec相比在指标MRR@n和Recall@n中平均分别提升2.70%和0.49%。

面向大规模图数据的关键词覆盖最优路径规划方法

针对个性化自驾游路径规划中存在规划路径无法满足不同用户个性化需求的问题,提出了基于不同用户兴趣点的关键词覆盖最优路径规划方法。首先,建立路网信息预处理模型并通过路网信息预处理算法绘制路网信息查询图;其次,使用倒排索引算法根据用户设定的个性化需求对路网信息查询图进行剪枝,在减小大规模数据处理内存开销的同时提升了关键词覆盖最优路径规划方法的执行效率;最后,通过双向并行拓展方式的关键词覆盖最优路径拓展算法实现满足用户兴趣点的个性化旅游路径推荐。实验结果表明,关键词覆盖最优路径规划方法不仅实现了满足用户个性化需求的路径规划,而且通过剪枝和双向并行拓展的方式提高了方法的执行效率。

基于图卷积网络的轴承故障检测算法

轴承故障占到了感应发动机故障总数的13,会造成严重的经济损失甚至生命威胁。准确且及时地检测出轴承故障对于提高生产效率和降低安全风险至关重要。传统检测算法对轴承信号特征的选择较为敏感,而基于机器学习的轴承故障检测算法往往仅考虑了样本的特征信息却忽略了样本之间的联系,从而丢失了许多有用的信息。为解决这个问题,将特征提取迁移到图结构,提出了GE⁃HITS的轴承故障检测方法。该方法首先将样本以德劳内三角网形式连接成图;然后将图结构与样本的特征信息一同作为图卷积神经网络的输入;最后将训练后的数据通过权威值排序来判断故障点。通过与在真实数据集上运行的8种对比算法的3种指标进行比较,GE⁃HITS算法都取得了最佳的结果,充分证明了所提算法的有效性。

基于禁忌搜索的流式计算平台负载均衡策略

针对大数据流式计算平台原生调度机制存在计算负载分配不均衡、资源利用率低的问题,提出异构环境下基于禁忌搜索算法的负载均衡策略,并将其应用于Apache Flink平台。首先,通过构建作业拓扑模型将流式计算作业的拓扑结构抽象为有向无环图(directed acyclic graph, DAG),并将每个任务槽(task slot)抽象为节点,为计算节点的性能评估奠定基础;其次,通过建立性能评估模型,将有向无环图中带性能权值的节点导入性能评估模型进行归一化处理,得到节点性能的优劣;再将评估参数传入禁忌调度算法(tabu search for schedule, TBS)进行作业路径优化,从而得出最优作业路径;最后,使用Flink平台提供的CustomPatitionerWrapper接口将数据分配到最优作业路径包含的节点中,完成计算负载的均衡分配,从而提升Flink平台的整体性能。实验结果表明:通过禁忌调度算法优化后的负载均衡策略与原生的Flink平台相比,平均计算延迟降低了10~20 ms,资源利用率显著提高,平均吞吐量提升约15%,有效证明了负载均衡策略的有效性和优化效果。

云存储系统节能研究综述

云存储系统作为云计算的重要组成部分，是各种云计算服务的基础。但随云存储系统规模的不断扩大和在设计时对能耗因素的忽略，使其日益暴露出高能耗、低效率的问题。因为云存储系统占整个云计算中心能耗的27%～40%，所以无论从降低服务提供商的运营成本，还是从降低能耗以保护环境的角度出发，研究云存储系统中的节能技术都具有很大的现实意义与应用前景。将存储系统中的能耗优化问题分为基于硬件的节能方法与基于调度的节能方法两大类进行讨论；并将基于调度的节能方法分为基于节点调度、基于数据调度和基于缓存预取技术3类进行综合比较；最后，对适应节能的云存储体系结构、节能模式下的QoS保证、节能模式与计算模式的匹配以及纠删码容错技术下的节能研究4个方向进行了展望。