Graph4Cache:一种用于缓存预取的图神经网络模型

大多数计算系统利用缓存来减少数据访问时间,加快数据处理并平衡服务负载.缓存管理的关键在于确定即将被加载到缓存中或从缓存中丢弃的合适数据,以及进行缓存置换的合适时机,这对于提高缓存命中率至关重要.现有的缓存方案面临2个问题:在实时的、在线的缓存场景下难以洞察用户访问数据的热度信息,以及忽略了数据访问序列之间复杂的高阶信息.提出了一个基于GNN的缓存预取网络Graph4Cache.通过将单个访问序列建模为有向图(ASGraph),并引入虚拟节点聚合图中所有节点的信息和表示整个序列.然后由ASGraph的虚拟节点构造一个跨序列无向图(CSGraph)来学习跨序列特征,这极大地丰富了单个序列中有限的数据项转换模式.通过融合这2种图结构的信息,学习到了序列之间的高阶关联信息,并获取了丰富的用户意图.在多个公共数据集上的实验结果证明了该方法的有效性.Graph4Cache在P@20和MRR@20上均优于现有的缓存预测算法.

基于指令流混合模式学习的缓存预取算法

近期缓存预取算法的研究热点是使用基于模式识别的预测技术,例如Lookahead,推算访存请求的地址.此类算法一方面很难学习访存行为中的依赖缓存失效,另一方面不能精确控制预取请求发送和写回的时机.为了解决上述问题,本文提出了一种基于分支预测技术和混合模式学习的缓存预取(Instruction Flow Based Hybrid Predic⁃tion,IFBHP)算法.使用分支预测技术识别程序未来指令流中的访存指令流,通过多种地址关联模式的学习逐一计算访存指令流中每条指令的地址,写入访存地址队列.使用阈值评估未来指令流进入处理器主流水线的时刻,精确控制指令流所对应的预取请求的发送和写回.实验表明,本文算法相比STeMS(Spatio-Temporal Memory Streaming)算法、ISB++(Irregular Stream Buffer++)算法、SANGAM算法、IPCP(Instruction Pointer Classifier based spatial Prefetching)算法一级数据的读操作缓存失效次数分别平均减少31.58%,28.85%,17.85%,11.48%;本文算法相比STeMS算法、ISB++算法、SANGAM算法、IPCP算法一级数据的写操作缓存失效次数分别平均减少31.58%,28.85%,17.85%,11.48%.

多级缓存数据预取处理器访存性能测试方法

针对处理器内存访问性能测试缺少对多级缓存数据预取优化而导致测试数据不能真实反映实际性能的问题,分析了多级缓存数据预取优化技术及其对内存访问带宽的影响。提出了一种针对多级缓存处理器的访存性能优化测试方法,该方法充分利用缓存数据预取机制,并避免处理器核间资源竞争,实现访存性能提升。实验数据表明,采用该方法可以得到符合硬件实际访存性能的数据,为准确评估高性能处理器的访存能力提供支持。

基于选择性马尔可夫模型的缓存预取策略

通过分析研究现有流媒体缓存管理算法和用户的访问行为特征,提出了一种新的基于选择性马尔可夫模型的缓存预取策略。该策略通过序列合并方法对用户访问拖曳行为进行建模,采用状态剪枝优化方法FP_Vlike得到选择性马尔可夫模型FPMM_Vlike,并在此之上结合替换算法LRU-2构建出一种流媒体代理服务器缓存预取机制FPVlike_LRU-2。仿真结果表明,在访问延时降低量方面,FPVlike_LRU-2要比FP_LRU-2、SP_LRU-2、LRU-2分别高出10%、12%、17%,且在最佳的情况下该值能够达到60%以上。

Web缓存与预取系统的设计与实现

缓存和预取技术是一个提升用户请求访问速度和网络整体性能的有效解决方法,本文分析了用户Web访问行为的特性,并结合用户的感兴趣程度和Web对象所属的类型,在GDSF算法的基础上,增加了对这几种因素的考虑,提出了一种新的Web缓存置换策略GDSFI,并通过仿真实验对其进行了性能验证和比较。

边缘计算系统中基于UCBM算法的缓存预取优化

针对终端设备产生的数据上传至云服务器会产生时间延迟的问题,提出了基于UCBM算法的缓存预取优化策略。根据用户的访问特征,通过贝叶斯网络和马尔可夫链对用户的下一步访问行为进行分类与预测,将目标文件提前从云端缓存预取到最近的边缘服务器,从而减少了时间延迟。实验结果表明,提出的优化策略明显提高了文件的预取精确率,最高为0.78;覆盖率也明显优于已有算法,最高达到0.73。

基于Hadoop分布式架构的云存储系统设计

为满足海量数据的便捷化、智能化存储和分析需求,充分发挥和利用Hadoop分布式架构的运行成本低、容错性高等优势,应用Hadoop分布式架构设计一款新型、先进的云存储系统,从系统架构设计和系统数据库设计两个方面入手,完成系统总体设计。根据系统功能列表,依次设计文件上传、文件下载、文件浏览、其他操作等模块。在Hadoop分布式架构的应用背景下,文章中所设计的云存储系统具有内存开销率低、集群读取效率高、安全可靠等优点,符合预期设计标准和要求。

基于稳定集模型的大容量缓存管理

指出了阶段间数据换入换出效率是大容量缓存管理最重要的问题，并对这一问题进行了研究。定义了一种用于预测新阶段的数据访问的新的数据访问宏观模型——稳定集模型（SSM），并基于该模型设计了一套缓存管理方法，包括缓存容量配置、缓存粒度选择、数据预取和缓存替换算法。该套算法能提高缓存在阶段间的数据换入换出效率，更有效地优化集中存储负载，并提高应用访问的性能。实验表明，基于SSM的缓存管理方法能够将集中存储负载降低到传统缓存管理方法的2．0％-15．8％，平均响应时间降低到0．8％～15．2％。

海量样本数据集中小文件的存取优化研究

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略。该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制。实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取。

航空货运中海量小文件的存储优化

针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关联度将小文件合并成大文件后存储至HDFS;建立小文件索引以及数据缓存和相关小文件预取机制。实验结果表明,该方法对于Hadoop分布式文件系统存取航空货运海量小文件时NameNode的压力有明显缓解,提升了存取文件的时间效率,为航空货运中海量小文件的存储问题提供了技术支持。

海量教育资源中小文件的存储研究

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。

基于对象存储系统的对象文件系统设计

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s.

Web的前端性能优化研究与应用

随着互联网的发展,Web的加载速度成为Web网站能否推广应用的关键,而Web前端性能是影响其速度的主要因素。国内外在该领域均做了一定的研究,但对其优化的关键技术未做出很好综合。该文依托于商旅管理系统平台,将传统前端优化技术、超文本传输协议(Hyper Text Transfer Protocol,HTTP)协议优化以及Web预取缓存模型相结合作为其系统前端优化的处理方案。经验证,网页加载速度显著加快,用户体验随之提升,对前端优化的研究与应用具有重要的理论和实践意义。

大规模C++工程单元测试性能优化研究

为了解决自动化单元测试工具在测试大规模C++工程时经常发生内存溢出故障且耗时较长这一问题,在测试流程中引入了缓存优化技术,并提出了一种面向不同测试方式的缓存优化方法;当用户直接对整个工程进行测试时,系统将采用缓存预取的方式,通过设计的缓存预取模型,在缓存出现读缺失之前为其提供数据块;当用户对单个文件进行测试时,系统将采用改进的GDSF替换算法进行缓存替换;实验表明,该方法能够有效地避免此类单元测试工具发生内存溢出故障并减少了测试的时间,使其支持的被测工程规模由5000行左右增加至十几万行,大大提升了系统的性能。