面向DAG任务的分布式智能计算卸载和服务缓存联合优化

建立了一种有向无环图(DAG,directed acyclic graph)任务卸载和资源优化问题,旨在应用最大可容忍时延等约束实现系统能耗最小化。考虑到网络中计算请求高度动态、完整的系统状态信息难以获取等因素,最后使用多智能体深度确定性策略梯度(MADDPG,multi-agent deep deterministic policy gradient)算法来探寻最优的策略。相比于现有的任务卸载算法,MADDPG算法能够降低14.2%至40.8%的系统平均能耗,并且本地缓存命中率提高3.7%至4.1%。

内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

网络缓存技术及应用的研究

网络缓存技术是目前用来提高互联网的用户响应速度及相关网络性能的关键技术,其中缓存策略及算法对缓存性能的发挥起着重要的作用。本文主要介绍在网络缓存系统中所采用的各种替换算法和更新策略,并说明网络缓存技术的各种应用模式。以目前广泛应用的代理缓存Squid为例,分析网路缓存系统兑现的结构和方法。

基于统计分析的指令高速缓存优化技术

针对现有高速缓存技术计算方法复杂、适用性差的问题,提出基于统计分析的指令高速缓存优化技术。采用GUN覆盖率分析工具和性能分析工具对代码进行静态分析,降低优化过程中的计算复杂度。在软件代码方面,通过优化的缓存块着色算法、地址段静态锁定、代码段选择性不缓存等技术,提高指令高速缓存的读取效率。给出缓存锁定选择排序公式,用于判断代码段是否锁定或不缓存,有效增加指令高速缓存的利用效率。实验结果表明,该优化技术能使程序执行时间平均减少8%,缓存命中率平均提高23%。

Web缓存的实现原理

介绍了Web缓存的几种典型模式 ,分析了实现Web缓存的设计技术与方法 .

面向缓存机制的移动边缘计算任务卸载研究

在移动边缘计算(MEC)环境下,用户需求快速增长,但由于移动设备的计算和存储资源受限,时延和能耗问题日益突显。此外,任务的重复卸载和处理也进一步加剧了时延和移动设备的高能耗问题。针对上述问题,提出一种带有缓存机制的移动边缘计算任务卸载方案来减少任务卸载过程中的时延和能耗。首先,基于任务的流行度、新鲜度、数据大小等因素设计一个缓存机制,根据该机制的结果设计缓存更新策略。然后,针对任务卸载和缓存问题,建立一个联合优化模型,优化模型以最小化系统总成本为目标,考虑了任务卸载和缓存对移动设备时延和能耗的影响。为求解这一复杂的优化模型,通过添加惩罚函数的形式将约束条件加入目标函数,并采用粒子群优化(PSO)算法获得任务卸载和缓存的最优决策。实验结果表明,与传统的无缓存的本地计算、无缓存的任务卸载、使用随机缓存的任务卸载等方案相比,该方案的总时延降低了37.00%以上,缓存命中率提高了7.78%以上,具有较高的缓存资源利用率。

FUCS:一种基于用户兴趣与特征融合的数据预处理缓存策略

为减少边缘云雾协同网络的传输延迟,提高缓存设备的存储利用率和预测准确性,提出了一种基于用户兴趣与特征融合的数据预处理缓存策略(FUCS:A Fusion of User Interests and Features-based Data Preprocessing Caching Strategy)。利用K-means算法对数据进行预处理,以缩小计算范围。设计了一个特征融合模块,并采用Multi-Head Self-attention来适应用户兴趣的变化规律。仿真试验结果表明,与传统的缓存策略相比,所提出的策略在总体缓存命中率上表现更优,并能显著降低数据的平均传输延迟。

视频流点播代理缓存管理新策略

随着视频流点播应用在Internet上的流行,服务器和骨干网络的带宽越来越成为了视频流点播发展的主要制约因素。为此,根据视频点播的特点和代理服务器除了能在服务器与客户端之间进行通信中继以外,还可缓存部分视频内容以直接满足客户请求的事实,提出了一个基于均匀分段的代理缓存管理策略以缓解视频流点播系统对服务器及骨干网络带宽的需求,并详细介绍了代理缓存管理策略的具体操作。理论分析表明文章提出的代理缓存管理策略能大大的减少系统对骨干网络带宽的需求,并能为客户端提供理论零延时服务。实验结果证明所提缓存管理策略明显优于现有的基于完全缓存或前缀缓存的代理缓存策略。

Web缓存系统浅析

研究和构造一个可扩展性好及请求命中率高的 Web缓存系统 .通过对 Web缓存定位问题及目前流行的分布缓存系统的分析 ,确定分层缓存系统更有优势 .为了提高分层缓存的可扩展性和请求命中率 ,在保持父子代理之间原有协作关系的同时加强父代理的处理能力 ,提出了一种新的虚拟协作缓存系统 ,即父代理用扩展性好的集群系统实现 ,子代理在缓存的同时加进预取技术 .该虚拟协作缓存系统能满足网络缓存对可扩展性及请求命中率的要求 ,具有可扩展性好、吞吐率高和命中率高的特点 .

Web对象可缓存性评价模型研究

为研究Web对象的可缓存性并提高缓存效率,提出了基于请求方式、HTTP状态码及HTTP参数的Web对象可缓存性评价模型,分析讨论了Web对象可缓存性评价指标。利用了Web对象可缓存度及可缓存率概念,研究了Web对象的可缓存性,采用缓存加速比指标,度量了Web缓存效率。实验与分析结果表明,可缓存率越高,缓存的污染越小,缓存加速比越大,缓存效率提升得越明显。

基于联盟链的边缘缓存系统中最佳缓存策略设计

针对不同运营商各自部署边缘设备,投入巨大且缓存内容相互隔离,无法共享的问题,改进了一种基于联盟链的边缘缓存系统架构,使运营商部署的边缘设备间能够打破内容隔离,实现更大范围的共享。为了提高运营商缓存收益,同时保证用户传输质量,降低用户传输时延,首先针对缓存内容流行度、内容大小以及边缘设备的协作能力,分析不同内容交付方式对于用户传输时延和运营商缓存收益的影响;然后,以最大化缓存收益和最小化传输时延为目标建立优化问题;最后,为解决构建的高维度大规模的缓存决策问题,采用基于异步优势动作评价的内容缓存算法确定内容的最佳放置位置。仿真结果表明,所提缓存策略能够有效地提高边缘缓存收益,降低内容传输时延,提升用户体验。

内容中心网络中传输开销最小的协作缓存策略

针对现有缓存策略主要从用户角度对网络性能(缓存命中率、内容获取时延等)进行优化,而没有考虑网络为用户提供服务时的传输开销优化问题,提出了一种最小化内容中心网络中传输开销的协作缓存机制。首先,给出了内容中心网络中内容缓存价值的计算方法,并利用内容缓存价值来衡量缓存为网络传输开销带来的影响;然后,在此基础上给出了最小化内容中心网络传输开销的缓存决策策略及缓存替换策略;最后,利用ndnSIM对所提缓存策略进行仿真。仿真结果表明,与现有缓存机制相比,所提策略能够有效减少网络传输开销。

基于聚类的ICN缓存空间规划方法

为合理分配信息中心网络(ICN)中每个节点的缓存空间,提出一种基于聚类的ICN缓存空间规划方法。根据节点属性数据集对ICN节点聚类后,以得到的聚类中心属性数据集为每一类分配缓存空间,后根据欧氏距离评估聚类效果为类内每个节点分配缓存空间,来提高缓存系统性能。在实际应用中,也可以为互联网服务提供商(ISP)提供一定的指导意义。仿真结果表明,该方法与均分分配部署方法、基于度数部署方法、基于介数部署方法相比,缓存命中率有明显提高,响应时延明显降低。

一种基于5G-ICN的缓存容量分配方法

随着第五代移动通信网络(5G)与以信息为中心的网络(ICN)的发展,业内提出的5G-ICN架构备受关注,其异构性更加突出,现有的ICN同质缓存容量分配方法已不适用。为了满足该架构异构缓存的容量分配需求,该文提出了一种基于节点重要性的5G-ICN混合组网缓存容量分配方法。采用量化节点位置属性与流量属性的方法计算节点的重要性,结合实际存储容量设置缓存部署单元进行仿真试验,结果表明,与现有方案相比,该文容量分配方法提升了19%的内容命中率与30%的时延。

机群文件系统的缓存机制分析与研究

针对传统的三层缓存体系结构中存在的问题,提出了协作缓存机制,使系统中各节点的缓存资源得到协调和充分的利用,进一步提高了文件访问的效率,解决了文件服务器容易成为系统的瓶颈而影响文件系统的效率问题;并对几个常见的协作缓存管理算法进行简要的分析。

基于Redis的共享缓存分析

随着微服务的应用不断增多,各服务之间的数据需要多方共享成为急需解决的技术问题,应用层缓存技术的出现为解决微服务数据共享指明了方向。本文研究基于Redis的缓存方案,以解决各服务之间的共享缓存问题,提高微服务的用户体验。自微服务架构设计理念被提出以来,微服务架构正在被越来越多的企业所接受。微服务架构的基本原理就是对应用进行解耦,通过将不同的功能分解到各自独立运行的服务中。在此情况下,保持系统运行稳定的同时能够持续提供跨服务的数据共享,是应用系统的必要需求。

基于机器学习的多目标缓存侧信道攻击检测模型

当前缓存侧信道攻击检测技术主要针对单一攻击模式,对2~3种攻击的检测方法有限,无法全面覆盖;此外,尽管对单一攻击的检测精度高,但随着攻击数增加,精度下降,容易产生误报。为了有效检测缓存侧信道攻击,利用硬件性能计数器(HPC)采集不同的缓存侧信道攻击特征,结合机器学习算法,提出一种基于机器学习的多目标缓存侧信道攻击检测模型。首先,分析不同缓存侧信道攻击方式的相关特征,精选关键特征并收集数据集;其次,进行独立的训练,建立针对每种攻击方式的检测模型;最后,在检测时将测试数据并行送入多个模型中,根据检测结果判断是否存在某种缓存侧信道攻击。实验结果显示,所提模型在检测Flush+Reload、Flush+Flush和Prime+Probe这3种缓存侧信道攻击时,分别达到99.91%、98.69%和99.54%的高准确率,即使在同时存在多种攻击的情况下,也能准确识别各种攻击方式。

车联网中基于联邦和强化学习的边缘缓存策略

为解决车联网中传统内容流行度预测方法无法准确捕获车辆请求特性,导致缓存命中率较低的问题,提出了一种基于联邦学习和强化学习的边缘协同缓存策略。该策略将车辆请求概率更高的内容预缓存在其他车辆或路侧单元中,以提高缓存命中率和降低平均内容获取延时。采用联邦学习方法利用分布在多个车辆上的私有数据进行训练并预测内容流行度,然后使用强化学习算法求解目标函数,获得流行内容的最佳缓存位置。结果表明,所提出的策略在缓存命中率和平均内容获取延时方面均优于其他对比缓存策略,有效提升了车联网边缘缓存性能。

面向缓存的动态协作任务迁移技术研究

边缘网络中不断出现的计算密集和延迟敏感型业务推动了任务迁移技术的快速发展。然而,任务迁移过程中存在应用场景复杂多变、问题建模难度高等技术瓶颈。尤其是考虑用户移动时,如何保证用户服务的稳定性和连续性,设计合理的任务迁移策略仍是一个值得深入探讨的问题。因此,提出了一种移动感知的服务预缓存模型和任务预迁移策略,将任务迁移问题转化为最优分簇与边缘服务预缓存的组合优化问题。首先,基于用户的移动轨迹对当前执行任务状态进行预测,引入动态协作簇和迁移预测半径的概念,提出了一种面向移动和负载两种任务场景的预迁移模型,解决了何时何地迁移的问题。然后,针对需要迁移的任务,基于最大容忍时延约束分析协作簇半径和簇内目标服务器数量的极限值,提出了以用户为中心的分布式多服务器间动态协作分簇算法(Distributed Dynamic Multi-server Cooperative Clustering Algorithm,DDMC)以及面向服务缓存的深度强化学习算法(Cache Based Double Deep Q Network,C-DDQN),解决了最优分簇和服务缓存问题。最后,利用服务缓存的因果关系,设计了一种低复杂度的交替最小化服务缓存位置更新算法,求解出了最佳迁移目标服务器集合,实现了任务迁移中的服务器协作及网络负载均衡。实验结果表明,提出的迁移选择算法具有良好的鲁棒性和系统性能,相比其他迁移算法所消耗的总成本降低了至少12.06%,所消耗的总时延降低了至少31.92%。

基于动态服务缓存辅助的任务卸载方法

针对服务缓存和任务卸载联合优化中,由于缺乏对用户服务请求多样性和动态性的综合考虑而导致的用户体验质量降低问题,提出一种基于动态服务缓存辅助的任务卸载方法。首先,针对边缘服务器执行缓存服务动作空间较大的问题,重新定义了动作,并筛选出最优的动作集合以提高算法训练的效率;其次,设计一种改进的多智能体Q-Learning算法学习最优的服务缓存策略;再次,将任务卸载问题转换为凸优化问题,利用凸优化工具获得最优解;最后,利用拉格朗日对偶法求得最优的计算资源分配策略。为了验证所提方法的有效性,基于真实数据集进行了充分的实验。实验结果表明,对比Q-Learning、双层深度Q网络(D2QN)以及多智能体深度确定性策略梯度(MADDPG)方法,所提方法的响应时间分别降低了8.5%、11.8%和12.6%,平均体验质量分别提高了1.5%、2.7%和4.3%。