基于内存缓存的异步检查点容错技术

高性能计算机系统规模越来越大,系统可靠性问题越来越严重.检查点技术是最典型的容错方法,但是因为并行文件系统的性能提高相对缓慢,数据写带宽低,传统检查点方法产生了严峻的性能问题.针对当前计算机系统计算和存储资源丰富,而并行文件系统写带宽提高相对滞后的特点,提出了基于内存缓存的异步检查点容错技术,传统的检查点技术被划分为两步:检查点文件首先被缓存在计算结点的局部内存,然后使用一个独立的帮助任务将数据拷贝到并行文件系统.利用局部内存带宽高以及帮助任务和计算任务并行执行的特点,新方法极大减小了检查点容错引入的时间开销,模拟和实际程序测试验证了异步检查点容错技术的有效性.

多虚拟机下基于内存缓存的动态块迁移算法

虚拟化技术为用户提供了高可用性、动态、可扩展、可按需分配的逻辑资源,虚拟机迁移技术则减弱了虚拟化初次分配资源后物理资源和逻辑资源的耦合程度,使得物理资源池构建更为灵活。然而现存的虚拟机迁移技术存在着资源消耗多,物理磁盘负载重,迁移数据冗余等问题,使得迁移的稳定性和可用性大打折扣。提出基于内存缓存的动态块迁移算法。该算法主要关注以下两点:其一是如何在保证迁移性能不受明显影响的前提下,更加合理利用内存缓存,快速将虚拟机页面迁移到目的服务器,从而节省物理资源;其二是如何通过更细粒度的资源管理方式实现更有针对性的迁移时机优化。基于QEMU虚拟机实现了该算法,多种不同应用负载下的实验结果表明,该算法能有效降低资源消耗和物理磁盘的负载,稳定且迅速地实现虚拟机的迁移。

内存缓存技术在门户网站开发中的应用研究

该文创造性地探讨了内存缓存技术在门户网站开发中的应用，介绍了Memcached这一杰出成果在truelife．com的应用情况，并就其实际存在的一些缺陷进行了深入分析。

内存缓存技术在门户网站开发中的应用研究

内存缓存技术是基于经典的操作系统数据访问理论而衍生出来的一种内存数据存储技术,处理器直接访问内存中的数据,减少了对磁盘访问操作而引起的访问等待时间,是今年来大型门户网站以及高访问量的Web应用中常见的数据存储/访问技术,下文以内存缓存技术在门户网站开发中的应用为主要内容,简单介绍了相关技术原理以及当前流行的技术匡济,为有效的提升门户网站响应速度、提升用户体验度的应用开发提供一定的技术参考。

ATC系统中高速内存缓存的设计与实现

由于空中交通管制系统在航空领域里的特殊应用,系统中部分数据实时性强,并且不需要长期存储,针对这一存储需求设计并实现了基于高速内存缓存的数据存储模型。模型基于key-value的内存池的内存管理方法,采用预申请和分组方式管理内存。通过实验分析比较了T数索引和哈希表索引的优点和适用范围,最终选择T树索引作为模型的索引数据结构。实验结果表明,该模型极大的提高了系统对该类数据的存取能力和系统性能。

基于Node.JS内存缓存的Web服务性能研究

当前Node.JS在Web服务方面得到了广泛的关注和应用,Node.JS采用了一个称为"事件循环(event loop)"的架构,可以快捷地编写出可扩展性高的服务器,也显著提高了服务器的性能。Node.JS选择了一种既能提高性能,又能减低开发复杂度的架构,这是一个非常重要的特性。主要研究了Node.JS的内存机制和缓存策略及其工作的原理,并对内存缓存的进行测试和提出了几种性能优化策略,进而说明其在Web服务上的优越性。

使用内存缓存的迭代应用编程框架

迭代式计算是一类重要的大数据分析应用.在分布式计算框架MapReduce上实现迭代计算时,计算会被分解成多个作业并按作业依存关系顺序运行,这使得程序与分布式文件系统(DFS)有多次交互而影响程序执行时间.对这些交互相关数据的缓存会降低与DFS的交互时间,进而提升程序总体的性能.考虑到集群中的大量内存在多数情况下会处于空闲状态,提出了一种使用内存缓存的迭代式应用编程框架MemLoop.该系统从作业提交API、调度算法、缓存管理模块实现缓存管理以充分利用内存缓存迭代间可驻留数据与迭代内依存数据.我们将此框架与已有相关框架进行了比较,实验结果表明该框架能够提升迭代程序的性能.

基于Key-Value的内存缓存系统在OMP鉴权中心中的应用

OMP(Open Mobile Platform,能力开放平台)是中国移动集团为开放其基础能力给开发者进行应用开发以满足用户个性化需求,并提供相应的运营管理功能的通用平台。为了降低鉴权中心数据库负载、提高应用的处理和响应速度,引入了一种高性能的内存缓存系统Redis。本文简单介绍了Redis系统并将其应用于OMP鉴权中心,最后对存在的问题进行分析并提出改进建议。

基于一维搜索的移动短信中心内存缓存的参数优化的研究

本文针对春节期间短信中心业务量峰值高、系统饱和的情况,启用的内存缓存的参数设置进行研究。简要阐述移动短信中心内存缓存的机制原理,基于一维搜索的算法,对参数缓存的参数进行了优化。最后通过matlab对2012年春节的业务量测算值进行仿真,观察参数应用效果。

Velocity：．NET平台分布式内存缓存框架

如果现在让一大群Web网站站长与网站开发人员聚在一起,评选一个工具软件,除了操作系统与IIS/Apache之外最重要的软件,相信很多人都会毫不犹豫的选择Memcached。是的,虽然它最起初只是Danga Interactive开发出来用来提高LiveJournal.com这个网站访问速度的一个不起眼的软件,但今天,无数的Web网站,包括许多我们每天都会登录的Internet门户,

内存缓存机制在.NET平台上的设计与实现

对于使用数据库存储数据的系统而言,硬盘较慢的读取速度极大的限制了系统整体性能的提高。内存缓存机制将常用的数据从数据库缓存到内存中并实时调整缓存数据,有效的提高了数据的查询效率,降低了系统的响应时间。

基于内存对象缓存管理技术的高效单点登陆系统

门户网站的壮大对单点登陆(Single sign-on,SSO)提出了更高的要求。系统提出了一种单点登陆的方法,并引入Memcache内存缓存对象系统提升用户验证信息数据的检索效能,以满足大负载门户网站的性能需求。

基于P2P的VOD系统中数据缓存策略研究

提出了一种结合内存缓存与磁盘缓存的新型缓存策略.该策略在原有内存缓存基础上增加了磁盘缓存,数据从内存中被淘汰时,从磁盘缓存空间中选择合适磁盘分片进行缓存,并建立索引管理已缓存数据,使对等网络中的节点利用彼此的闲置磁盘资源缓存更多的媒体数据,服务器的负载得到有效降低,节点在对等网络中从其他节点获取数据的成功率明显提高.实验证明,该缓存策略有效提高了系统的整体服务能力,充分利用对等网络中的空闲节点资源降低视频服务器的负载.

基于MemCached缓存技术Web应用设计与实现

为了解决Web应用庞大的并发访问量导致服务器承载大量压力，数据库响应恶化、网站显示延迟等问题，数据缓存技术应运而生。数据缓存技术是解决Web应用程序可扩展性和数据响应及时性的主要手段之一。Memcached作为目前最杰出的内存缓存技术用于解决系统的性质和访问压力，本文对在高负栽动态网站减轻服务器负载的原理及其应用场景，并对Memcached进行了生产环境的应用测试，提出了内存管理方式的优点、带来的问题和解决办法。

基于动态内容缓存的Web站点性能提升比较

介绍了Web站点动态内容缓存的几种方法,包括smarty缓存、内存缓存、服务器缓存。使用并发压力测试对这几种方法做了使用缓存前后的性能提升的纵向比较,以及各项方法对性能提升程度的横向比较,性能的主要指标为请求时长和吞吐率。

基于OWGA缓存的海量遥感瓦片数据发布

通过模拟实现传统的WMTS瓦片服务对客户端发来下载瓦片数据的HTTP请求进行响应,计算得到各处理阶段所用的平均时间,分析测试结果可知,将请求的本地储存瓦片读取到内存中所花费时间占总响应时间的70%以上。为缩短服务器响应时间,提出了基于OWGA缓存的发布方法,将客户端最近频繁请求的、高分辨率的瓦片数据常驻内存,以减少文件I/O操作;并在缓存不足时移除OWGA值较低且低分辨率的瓦片数据。通过与常用的内存缓存置换算法LRU、LFU对比可知,在随机访问模式下,该算法的时间效率优于其他两种算法。

分布式和缓存技术在大并发量网站中的应用

对于高访问量网站,Web服务器端经常面临大并发量和海量数据流请求的问题,导致用户访问延时,利用负载均衡和内存缓存相结合技术可以解决这一问题。在服务器端采用集群下的负载均衡策略,将工作任务相对均衡地分配到各个节点上执行;采用内存缓存机制,通过优先读取内存中的缓存数据以减少对数据库的访问次数,进而减轻数据库负载。性能测试结果和用户体验反馈信息显示,该方法在大并发量访问时能极大地提高系统的吞吐量。

一种高效的全文检索索引技术

针对目前比较流行的基于词的倒排文档索引模型 ,结合全文检索数据的特点 ,提出了变长编码的索引压缩算法。利用该压缩编码 ,研究了基于内存缓存的快速创建索引的流程。通过实验 ,对索引膨胀率、创建时间和检索响应速度进行了对比分析 。

Memcached应用研究

Memcached作为目前最杰出的内存缓存技术,应用越来越多。本文从Memcached产生的背景出发,阐述了它在高负载动态网站减轻数据库负担的原理及其应用场景,并对Memcached进行了简单的应用测试,分析了Memcached的内存管理方式相对于传统内存管理的优点。

上海先进能量管理系统中的实时数据共享技术

先进能量管理系统是一种新型的电网多目标趋优控制的自动化系统,其底层采用"数据共享平台"技术实现数据的网络共享。文中介绍了该平台的整体框架和平台中的分布式内存缓存技术,通过该技术将共享数据以"键值对"的形式存储在分布式内存中,具有简单性、开放性和高效性。最后,提出了数据序列化技术,包括公共信息模型和状态估计结果的序列化,该技术能有效压缩数据量从而使数据读写更加高效。无论是实验结果还是实际应用效果均验证了所提出的数据共享技术的有效性。