数据中心的高投入和低资源利用率一直是云服务提供商关注的问题.面对这个难题,直接的解决方案是在同等资源上混合部署更多的应用以提高资源使用效率.然而,由于混部应用对共享资源的竞争导致了应用间的性能干扰,从而影响了应用的性能、...数据中心的高投入和低资源利用率一直是云服务提供商关注的问题.面对这个难题,直接的解决方案是在同等资源上混合部署更多的应用以提高资源使用效率.然而,由于混部应用对共享资源的竞争导致了应用间的性能干扰,从而影响了应用的性能、服务质量(quality of service,QoS)和用户满意度,因此如何保障应用的性能已成为混部场景下的关键问题.着重从应用和集群特征分析(基础)、干扰检测(前提)、单节点资源分配(微观层面策略)和集群作业调度(宏观层面策略)4个方面阐述多应用混部性能保障的相关背景、挑战和关键技术.在不同的混部场景下,由于应用和集群特征等不同,性能保障工作所面临的挑战和问题复杂度也各异,例如单位资源上混合部署的应用数量会直接影响到搜索资源空间的时间开销,应用的运行方式会影响到共享资源的竞争强度.因此,从问题复杂度角度出发,从应用和集群特征、资源干扰维度和混部应用个数3个维度对相关研究工作面临的挑战进行讨论和分析.探讨了面向高密度混部场景应用性能保障方法的发展方向和挑战,认为全栈式的软硬件协同方法是保障高密度混部下应用性能的趋势,该方法有助于全面地提升应用性能的可靠性和数据中心的资源利用率.展开更多
功能验证在处理器芯片开发流程中所占用的时间超过70%,因此优化提升功能验证环节的效率非常必要.软件仿真等传统验证方法提供了包括断言等多种验证机制,以提升验证的细粒度可见性和自检查能力,但是软件仿真运行速度较慢,在高效性方面有...功能验证在处理器芯片开发流程中所占用的时间超过70%,因此优化提升功能验证环节的效率非常必要.软件仿真等传统验证方法提供了包括断言等多种验证机制,以提升验证的细粒度可见性和自检查能力,但是软件仿真运行速度较慢,在高效性方面有明显不足.基于FPGA的硬件原型验证方法能极大地加速验证性能,但其调试能力较弱,虽能快速发现漏洞,但难以定位漏洞出现的具体位置和根本原因,存在有效性不足难题.为同时解决上述功能验证有效性与高效性的问题,提出一种将不可综合的断言语言SVA(SystemVerilog Assertion)自动转换成逻辑等效但可综合的RTL电路的方法,聚焦于断言这一类对设计进行非全局建模、纵向贯穿各抽象层级的验证方式,对基于全局指令集架构(instruction set architecture,ISA)模型的验证能力进行补足.同时,结合FPGA细粒度并行化、高度可扩展的优势,对处理器的验证过程进行硬件加速,提升了处理器的开发效率.实现了一个端到端的硬件断言平台,集成对SVA进行硬件化的完整工具链,并统计运行在FPGA上的硬件化断言的触发和覆盖率情况.实验表明,和软件仿真相比,所提方法能取得超过2万倍的验证效率提升.展开更多
在当今信息时代,随着移动设备、互联网应用以及云计算模式的快速发展,数据中心已成为社会基础设施。然而数据中心面临资源利用率与应用服务质量之间的矛盾,一方面通过多个应用同时在数据中心部署实现资源共享能有效提高资源利用率,另一...在当今信息时代,随着移动设备、互联网应用以及云计算模式的快速发展,数据中心已成为社会基础设施。然而数据中心面临资源利用率与应用服务质量之间的矛盾,一方面通过多个应用同时在数据中心部署实现资源共享能有效提高资源利用率,另一方面多个应用共享资源又会出现相互干扰,严重影响应用的服务质量。因此,目前企业不得不采用预留额外资源以保障延迟敏感的关键应用服务质量,这导致数据中心的利用率很低。并且,随着多核技术的发展,单个服务器内的资源越来越多,其上混合部署的应用数目也在不断增加,更加剧这种矛盾。如何解决资源利用率与应用服务质量之间的矛盾,是数据中心面临的核心挑战之一,同时也为计算机系统结构研究带来很多机遇。文章主要介绍了数据中心所面临的上述矛盾以及一些研究进展,最后介绍了资源可编程体系结构PARD(Programmable Architecture of Resourcing on-Demand)思想,从硬件上支持资源容量隔离与性能隔离,从而保障多应用混合环境下关键应用的服务质量,允许更大程度混合部署应用以提高数据中心资源利用率。展开更多
NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前...NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.展开更多
文摘数据中心的高投入和低资源利用率一直是云服务提供商关注的问题.面对这个难题,直接的解决方案是在同等资源上混合部署更多的应用以提高资源使用效率.然而,由于混部应用对共享资源的竞争导致了应用间的性能干扰,从而影响了应用的性能、服务质量(quality of service,QoS)和用户满意度,因此如何保障应用的性能已成为混部场景下的关键问题.着重从应用和集群特征分析(基础)、干扰检测(前提)、单节点资源分配(微观层面策略)和集群作业调度(宏观层面策略)4个方面阐述多应用混部性能保障的相关背景、挑战和关键技术.在不同的混部场景下,由于应用和集群特征等不同,性能保障工作所面临的挑战和问题复杂度也各异,例如单位资源上混合部署的应用数量会直接影响到搜索资源空间的时间开销,应用的运行方式会影响到共享资源的竞争强度.因此,从问题复杂度角度出发,从应用和集群特征、资源干扰维度和混部应用个数3个维度对相关研究工作面临的挑战进行讨论和分析.探讨了面向高密度混部场景应用性能保障方法的发展方向和挑战,认为全栈式的软硬件协同方法是保障高密度混部下应用性能的趋势,该方法有助于全面地提升应用性能的可靠性和数据中心的资源利用率.
文摘功能验证在处理器芯片开发流程中所占用的时间超过70%,因此优化提升功能验证环节的效率非常必要.软件仿真等传统验证方法提供了包括断言等多种验证机制,以提升验证的细粒度可见性和自检查能力,但是软件仿真运行速度较慢,在高效性方面有明显不足.基于FPGA的硬件原型验证方法能极大地加速验证性能,但其调试能力较弱,虽能快速发现漏洞,但难以定位漏洞出现的具体位置和根本原因,存在有效性不足难题.为同时解决上述功能验证有效性与高效性的问题,提出一种将不可综合的断言语言SVA(SystemVerilog Assertion)自动转换成逻辑等效但可综合的RTL电路的方法,聚焦于断言这一类对设计进行非全局建模、纵向贯穿各抽象层级的验证方式,对基于全局指令集架构(instruction set architecture,ISA)模型的验证能力进行补足.同时,结合FPGA细粒度并行化、高度可扩展的优势,对处理器的验证过程进行硬件加速,提升了处理器的开发效率.实现了一个端到端的硬件断言平台,集成对SVA进行硬件化的完整工具链,并统计运行在FPGA上的硬件化断言的触发和覆盖率情况.实验表明,和软件仿真相比,所提方法能取得超过2万倍的验证效率提升.
文摘在当今信息时代,随着移动设备、互联网应用以及云计算模式的快速发展,数据中心已成为社会基础设施。然而数据中心面临资源利用率与应用服务质量之间的矛盾,一方面通过多个应用同时在数据中心部署实现资源共享能有效提高资源利用率,另一方面多个应用共享资源又会出现相互干扰,严重影响应用的服务质量。因此,目前企业不得不采用预留额外资源以保障延迟敏感的关键应用服务质量,这导致数据中心的利用率很低。并且,随着多核技术的发展,单个服务器内的资源越来越多,其上混合部署的应用数目也在不断增加,更加剧这种矛盾。如何解决资源利用率与应用服务质量之间的矛盾,是数据中心面临的核心挑战之一,同时也为计算机系统结构研究带来很多机遇。文章主要介绍了数据中心所面临的上述矛盾以及一些研究进展,最后介绍了资源可编程体系结构PARD(Programmable Architecture of Resourcing on-Demand)思想,从硬件上支持资源容量隔离与性能隔离,从而保障多应用混合环境下关键应用的服务质量,允许更大程度混合部署应用以提高数据中心资源利用率。
文摘NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.
