内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

云际分布记账模型、机理与关键技术展望

云际计算是支持公有云、私有云、边缘云和微云等异源异质云服务以自主对等方式纵横协作共赢的新型计算模式,可为独立云服务实体间行为交互、信任构建和贡献度量等提供防篡改、可追溯能力支持,进而最大限度削弱阻碍不同利益攸关者协作的不确定性因素.提升云际协作意愿和效率需要基于何种机理进行何种机制创新,是云际计算成长演化中需要进一步阐述的新问题.本文首先以基于“数字空间证据”构建或增强信任关系为设计原则,提出了基于区块链的云际分布记账软件定义模型,并系统阐述了分布记账支撑云际服务独立性、可审计性以及释放云际协作潜能的内在机理;其次,面向云际复杂交互行为,深化并固化了云际分布记账运行逻辑流程及关键环节的设计,避免其在错综复杂要素综合作用下呈现不确定冲突和矛盾;再次,针对数据要素流通及复杂异步交互场景,细化并优化了云际分布记账合约逻辑模型;最后,论述了以分布共识、智能合约等为代表的云际分布记账核心技术及相应指标的现状,并对关键技术的目标属性体系、前瞻性挑战等进行了展望.

开源虚拟平台在加速器控制系统中的应用

在中国科学院上海高等研究院光源科学中心已建和正在建设中的多个加速器工程中,运行环境是控制系统的运行平台和调试操作平台,运行环境的可靠性和稳定性是保证控制系统可靠稳定运行的必要手段,也是运行调试人员顺畅和安全操作的前提。使用虚拟系统搭建的运行环境,不仅可以满足7×24h的长期稳定运行,也可以满足系统的扩展灵活性。为了更深入地研究和掌握虚拟系统架构,在硬X射线自由电子激光装置2号测试大厅中基于开源Proxmox虚拟系统建立了加速器控制系统运行环境平台,包括虚拟网络、超融合存储系统、虚拟服务器和虚拟IOC等,目前这套系统运行稳定,证实了Proxmox虚拟系统在加速器控制系统运行环境中应用的可行性。

MapReduce并行编程模型研究综述

MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统．

数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.

多核多线程技术综述

分析了多核CPU和操作系统、并行计算以及多线程设计与开发之间的关系,结合一个新的性能评估算法,从线程并行数量、数据竞争、锁竞争、线程安全、数据传输、存储一致性等方面,详细分析了多核多线程开发中开发技术和存在的问题,并给出了对应的措施,最后简要论述和分析了多核多线程技术的发展趋势。

MapReduce优化技术综述

作为一种处理大数据的并行编程模型,MapReduce由于其良好的可扩展性、可用性、容错性,得到了学术界和工业界的关注。针对MapReduce在应用领域中的不足,已经存在大量的优化技术。介绍了MapReduce框架,比较了现存的MapReduce列存储、索引、连接、迭代计算、科学计算及调度算法方面的优化技术,分析了MapReduce技术研究的挑战性问题,指出了未来研究方向。

大数据背景下集群调度结构与研究进展

集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发展变化,集群调度场景和目标也日趋复杂.尤其是在大数据背景下,传统集中调度结构的性能瓶颈被放大,研究者开始向全新的调度结构进行探索,应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发,分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构,并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析,并尝试对各结构的未来发展进行展望.

大容量、高性能、高扩展能力的蓝鲸分布式文件系统

应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中IO子系统研究的热点.作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义.蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外现有研究成果的分析和研究,自主设计实现的分布式文件系统.它着重于大容量、高IO吞吐率和高扩展能力等方面特性.BWFS已经用到BW1K网络存储系统中,并通过BW1K的初步评测数据验证了这些特性.

基于MapReduce的海量数据挖掘技术研究

MapReduce是一种编程模型,可以运行在异构环境下,编程简单,不必关心底层实现细节,用于大规模数据集的并行运算。将MapReduce应用在数据挖掘的三个算法中:朴素贝叶斯分类算法、K-modes聚类算法和ECLAT频繁项集挖掘算法。实验结果表明,在保证算法准确率的前提下,MapReduce可以有效提高海量数据挖掘工作的效率。

语义对等网构造及搜索机制研究

对等网文件共享系统能否成功极大地取决于搜索机制的多样性和扩展性 当前支持分布式Hash表 (DHT)功能的结构化系统 (如CAN)易扩展但不能有效地支持部分匹配的查询 ,而基于扩散的非结构化系统 (如Gnutella)支持多样化查询但不易扩展 提出了一种新的对等网体系结构 基于CAN构造的pGroup介于结构化和非结构化之间 :结点根据内容的类别自组织在一起 ,具有相同类别的结点相互关联构成语义对等网 (semanticpeer to peernetworks ,SPNs) 针对不同的查询行为 ,提出了相应的搜索算法 实验表明 ,pGroup比Gnutella的扩展性好 。

基于延迟主动副版本的分布式实时容错调度算法

主/副版本备份技术是分布式系统常用的实时容错调度方法,然而传统的主动方式副版本即使在无处理机故障时也需要在备份处理机上完全运行,增加了处理机消耗.提出一种基于固定优先级调度算法的延迟主动副版本(deferred active backup-copy)备份技术,该技术通过尽量向后调度主动方式的副版本,并在主版本成功执行时终止副版本的执行来减少备份的冗余度.在此基础上,提出一种基于该技术的以最小化处理机数目为优化目标的启发式任务分配算法——基于延迟主动副版本的最佳适应算法DABCBF(deferred active backup-copy based best-fit algorithm).DABCBF在保证系统的实时性和容错能力的前提条件下,通过尽量减少主版本的最坏响应时间来最大程度地减少冗余,以节省处理机.最后通过仿真实验,证明了算法的可行性和有效性.

多处理器片上系统任务调度研究进展评述

多处理器片上系统在单芯片上集成了多种指令集处理器,可完成复杂完整的功能,在图像处理、网络多媒体和嵌入式系统等应用领域前景广阔.任务映射与调度是多处理器片上系统设计的关键问题之一.介绍了多处理器片上系统的基本结构和面临的挑战,从调度算法分析和实现框架两个方面着重探讨了近年来多处理器片上系统任务调度的国内外研究进展情况,分析了当前亟待解决的问题与下一步主要的研究方向,可为多处理器片上系统相关研究提供参考.

基于读写特征的分布式互斥算法

在LK算法基础上 ,提出一种对读写请求作不同互斥处理的分布式互斥算法———RWME(read/writemu tualexclusion)算法 .在同步延迟仍为T的前提下 ,降低了传统非令牌类型互斥算法的消息复杂度 .在Lamport全局时戳的基础上 ,定义了适合于读写互斥的全局时戳———读写时戳 ,并由其来保证各读写进程互斥访问临界区的公平性和正确性 .通过对算法的性能分析验证其是高效的 。

网格环境下的一种动态跨域访问控制策略

针对网格环境下传统的基于角色的访问控制方式中资源共享的可扩放性和欺骗问题,提出了一种动态的访问控制方式.这种新型的访问控制方式可以根据用户的行为动态调整他的角色,在用户的权限与他的行为之间建立了联系.将该访问控制方式与信任模型结合,引入转换因子和动态角色的概念,应用到虚拟组织中,形成了基于动态角色的跨域访问控制系统.仿真结果显示,该系统能有效地实现访问控制,遏制欺骗,并具有良好的可扩放性.

基于资源状态蚁群算法的云计算任务分配

针对云计算中的任务分配问题,分析任务资源之间的数学模型,提出一种基于资源状态蚁群算法,相对一般蚁群算法,加入虚拟机实时状态,更精确地表达云计算任务分配的问题.通过CloudSim工具设计仿真实验,实验结果表明,与最近Cristian Mateos提出的蚁群改进算法相比,该算法在任务完成时间、算法稳定收敛方面取得了较好表现,以RR算法为基准,该算法提高后的时间比例稳定在RR算法任务完成时间的60％-65％,稳定性提高4.7倍.

云计算环境下融合遗传算法和蚁群算法QoS约束任务调度

针对已有云计算任务调度算法为实现最短时间跨度而不能兼顾负载均衡和服务质量的问题,提出基于遗传算法和蚁群算法融合的Qo S约束任务调度策略CAAC。CAAC利用任务的预测完成时间和成本耗费定义适应度函数;通过遗传算子全局搜索最优解,融合蚁群算子提高解的精确度;当任务数量大于50时,该算法收敛速度和资源利用率比蚁群算法平均提高4.7%和30.8%。仿真结果表明,该算法在保证服务质量和资源负载均衡方面具有优越性。

基于蚁群优化算法的云计算任务分配

针对已有的适用于分配任务的蚁群算法易陷入局部最优解的缺陷,提出了一个保证云服务质量的分组多态蚁群算法。该算法将蚁群按职能不同分为搜索蚁、侦察蚁和工蚁,根据预测完成时间的更新使平均完成时间逐渐取得最小值,从而减少产生局部最优解的可能,最后通过Cloudsim仿真实现。结果表明该方法减少了处理请求任务的平均完成时间,提高了任务处理的效率。

基于分布式数据仓库的分类分析研究

针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种分布式GAC-RDB分类算法。实验显示,随着集群中节点的不断增加,算法的运行时间稳步下降。结果表明,在保证算法准确率的前提下,分布式数据仓库能够有效提高GACRDB分类算法的扩展性和运行效率,相对于MapReduce框架,HiveQL语言降低了对数据挖掘从业人员的技术要求,更大程度地减少了算法的开发时间,为挖掘海量数据提供了新的解决方案。