云际分布记账模型、机理与关键技术展望

云际计算是支持公有云、私有云、边缘云和微云等异源异质云服务以自主对等方式纵横协作共赢的新型计算模式,可为独立云服务实体间行为交互、信任构建和贡献度量等提供防篡改、可追溯能力支持,进而最大限度削弱阻碍不同利益攸关者协作的不确定性因素.提升云际协作意愿和效率需要基于何种机理进行何种机制创新,是云际计算成长演化中需要进一步阐述的新问题.本文首先以基于“数字空间证据”构建或增强信任关系为设计原则,提出了基于区块链的云际分布记账软件定义模型,并系统阐述了分布记账支撑云际服务独立性、可审计性以及释放云际协作潜能的内在机理;其次,面向云际复杂交互行为,深化并固化了云际分布记账运行逻辑流程及关键环节的设计,避免其在错综复杂要素综合作用下呈现不确定冲突和矛盾;再次,针对数据要素流通及复杂异步交互场景,细化并优化了云际分布记账合约逻辑模型;最后,论述了以分布共识、智能合约等为代表的云际分布记账核心技术及相应指标的现状,并对关键技术的目标属性体系、前瞻性挑战等进行了展望.

内存高效的持久性分布式文件系统客户端缓存DFS-Cache

为了在数据密集型工作流下有效降低缓存碎片整理开销并提高缓存命中率,提出一种持久性分布式文件系统客户端缓存DFS-Cache(Distributed File System Cache)。DFS-Cache基于非易失性内存(NVM)设计实现,能够保证数据的持久性和崩溃一致性,并大幅减少冷启动时间。DFS-Cache包括基于虚拟内存重映射的缓存碎片整理机制和基于生存时间(TTL)的缓存空间管理策略。前者基于NVM可被内存控制器直接寻址的特性,动态修改虚拟地址和物理地址之间的映射关系,实现零拷贝的内存碎片整理;后者是一种冷热分离的分组管理策略,借助重映射的缓存碎片整理机制,提升缓存空间的管理效率。实验采用真实的Intel傲腾持久性内存设备,对比商用的分布式文件系统MooseFS和GlusterFS,采用Fio和Filebench等标准测试程序,DFS-Cache最高能提升5.73倍和1.89倍的系统吞吐量。

开源虚拟平台在加速器控制系统中的应用

在中国科学院上海高等研究院光源科学中心已建和正在建设中的多个加速器工程中,运行环境是控制系统的运行平台和调试操作平台,运行环境的可靠性和稳定性是保证控制系统可靠稳定运行的必要手段,也是运行调试人员顺畅和安全操作的前提。使用虚拟系统搭建的运行环境,不仅可以满足7×24h的长期稳定运行,也可以满足系统的扩展灵活性。为了更深入地研究和掌握虚拟系统架构,在硬X射线自由电子激光装置2号测试大厅中基于开源Proxmox虚拟系统建立了加速器控制系统运行环境平台,包括虚拟网络、超融合存储系统、虚拟服务器和虚拟IOC等,目前这套系统运行稳定,证实了Proxmox虚拟系统在加速器控制系统运行环境中应用的可行性。

面向非易失性内存的高性能计算并行优化研究

针对非易失性内存在高性能计算运行过程中存在的内存分配不均匀问题,研究非易失性内存的高性能计算并行优化方法。结合新型高速网络RDMA和非易失性存储设备,提出分布式非易失性内存新型存储结构,加入一致性模块和本地非易失性内存管理模块,同时加强本地非易失性内存的管理;通过SPL框架进行分布式并行计算,经过数据预加载后,使用分布式独立内存分配算法优化多任务多线程的并行计算过程。实验结果表明:该方法能够使非易失性内存的数据保持一致,增强读写性能,提升工作效率;对于并行多线程任务的内存分配具有更好的扩展性,增强系统并行运算能力,同时适用性广泛。

无线传感网络中基于MapReduce的组合Skyline查询算法

无线传感网络通过传感器节点能够收集到海量数据,利用组合Skyline查询技术可以在海量数据中获取以组合为单位的用户感兴趣的信息。然而,由于无线传感网络所处环境的不确定性及节点能量有限等问题,使得在海量数据下组合Skyline查询效率不太理想。针对该问题,提出一种基于MapReduce的组合Skyline查询算法(MR-GSKY算法),首先通过预处理操作去除无用点,然后将数据集分块,充分利用MapReduce分布式计算的特点,在Map阶段并行计算每一分块的键值对,再利用删减操作去除无用候选组合,在Reduce阶段执行扩展操作对不同键值对的组合进行整合并计算出组合Skyline的中间结果,通过多次Map和Reduce操作生成G-Skyline(n)。实验结果表明,该算法比现有算法具有更好的性能。

基于地址的网格空间库设计与应用

为实现基于网格的精细化管理,通信运营商迫切需要融合M/B/O域的前后端数据。通信运营商基于标准地址数据,根据各种不同类型的网格,明确不同网格对应标准地址层级的映射关系,进而设计网格空间模型。研究表明,该空间模型能够有效降低网格应用对标准地址数据质量的要求,融合拉通生产前后端数据,并基于该模型实现可视化的空间沙盘应用,以期为相关人员提供参考。

云边协同下基于博弈论的云机器人部分任务卸载策略

如何合理地利用中心云、边缘云的资源,既降低系统设备能耗,又能缩短任务平均完成时间,是云机器人计算任务卸载面临的重大挑战。将云机器人的计算任务完成时间与能耗作为代价衡量指标,根据自身需求设置不同的代价权重,将多个云机器人的计算任务卸载问题转换成了一种多个玩家参与的博弈模型,设计了一种基于博弈论的部分任务卸载算法(game theory-partial task offloading,GT-PTO)。通过算法下的纳什平衡状态,找到参与者的最佳卸载阈值,从而达到系统总代价的优化。仿真结果表明,采用所提算法进行任务卸载,能够减少云机器人计算任务的能耗,缩短平均任务完成时间,大大提高云边协同服务质量。

流式计算引擎中密集滑动窗口的性能优化研究

为缓解目前的大数据流式计算引擎在处理密集窗口时因高负载而带来的性能下降问题,文章分析了原生窗口机制的性能瓶颈以及现有优化方法的不足之处,包括需要额外的内存空间用于存储输入的数据流、无法自动清理状态缓存等,提出一种基于关键窗口机制的优化方案,该方案能够减少流式计算中需要创建的窗口数量,具有降低系统负载的效果。通过与原生机制进行对比分析,证明此优化方案的有效性。该优化方案具有能兼容现有框架、对下游系统改造少及同时提升内存占用和I/O频率两个方面性能的优点。

Flink水位线动态调整策略

衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和数据产生的事件时间顺序会有局部乱序的现象。面对窗口作业的传统水位线机制在不确定乱序程度的流数据情况下无法同时兼顾作业结果的实时性和准确性。针对这个问题,建立了流数据微簇模型。通过局部乱序度算法,根据流数据微簇的流数据事件时间局部乱序程度计算出可以代表当前时刻流数据的乱序度。设计了水位线动态调整策略,使水位线根据流数据的乱序程度动态调整大小。最后,在Apache Flink框架中对基于事件时间窗口的水位线动态调整策略进行了实现。实验结果表明,弹性或不确定乱序流数据条件下,基于事件时间窗口的水位线动态调整策略可以有效地同时兼顾窗口作业的准确性和实时性。

基于空间管理器和适配器的可重构设备在线放置

为了实现可重构设备上的模块/组件的在线放置,提出了一种基于空间管理器和适配器的在线放置策略;对于空间管理器,提出管理可重构设备上的已占用空间,而不是空闲空间,这样将更快地通过使用已占用的空间来查找到可以放置新组件的空闲位置集,具体实现是计算出相对于设备和每个已放置组件的IPR,从而得到IPR集;然后通过从总的设备区域中减去IPR集来得到可以放置新组件的空闲位置集;对于适配器,首先计算能得到最佳放置路由成本的点即放置新模块的最佳点,然后检查该点是否属于PPR集,如果是,则得到问题的解,否则,就寻找接近最佳点最近可能的位置,并选择它作为最佳放置位置;实验结果表明,提出的空间管理器和适配器相比于目前常用的几种放置方法不仅有更低的复杂度,而且有更低的装配时间。

MapReduce并行编程模型研究综述

MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.

面向大数据分析的分布式文件系统关键技术

大数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段．信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点．传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求．设计并实现了一个面向大数据分析、专为大规模集群应用的分布式文件系统Clover．该系统采用基于目录划分和一致性Hash映射的名字空间管理方法，解决了元数据扩展性问题；通过改进的两阶段提交协议，保证了多元数据服务器下分布式元数据操作的一致性；提出了基于共享存储池的高可用机制，通过热备和全局状态恢复机制提高了元数据的可靠性．评测结果表明，Clover的元数据处理能力随服务器的数量线性增长，增加单个服务器的元数据操作性能平均提升了5．13％～159．32％．由于名字空间管理和分布式事务的开销，多元数据服务器会导致复杂操作的性能下降，但是这种下降的幅度很小（小于10％）．与HDFS相比，Clover的文件读写带宽与之接近，并能够保证在元数据服务器失效后文件系统快速恢复，适合于构建高可扩展和高可用的存储系统．

数据密集型计算编程模型研究进展

作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.

多核多线程技术综述

分析了多核CPU和操作系统、并行计算以及多线程设计与开发之间的关系,结合一个新的性能评估算法,从线程并行数量、数据竞争、锁竞争、线程安全、数据传输、存储一致性等方面,详细分析了多核多线程开发中开发技术和存在的问题,并给出了对应的措施,最后简要论述和分析了多核多线程技术的发展趋势。

MapReduce优化技术综述

作为一种处理大数据的并行编程模型,MapReduce由于其良好的可扩展性、可用性、容错性,得到了学术界和工业界的关注。针对MapReduce在应用领域中的不足,已经存在大量的优化技术。介绍了MapReduce框架,比较了现存的MapReduce列存储、索引、连接、迭代计算、科学计算及调度算法方面的优化技术,分析了MapReduce技术研究的挑战性问题,指出了未来研究方向。

大数据背景下集群调度结构与研究进展

集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发展变化,集群调度场景和目标也日趋复杂.尤其是在大数据背景下,传统集中调度结构的性能瓶颈被放大,研究者开始向全新的调度结构进行探索,应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发,分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构,并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析,并尝试对各结构的未来发展进行展望.

大容量、高性能、高扩展能力的蓝鲸分布式文件系统

应用需求和计算机技术的发展使网络化存储系统成为网络服务器系统中IO子系统研究的热点.作为网络存储系统关键部件,分布式文件系统的研究具有非常重要的意义.蓝鲸分布式文件系统(BWFS)是国家高性能计算机工程技术研究中心基于对国内外现有研究成果的分析和研究,自主设计实现的分布式文件系统.它着重于大容量、高IO吞吐率和高扩展能力等方面特性.BWFS已经用到BW1K网络存储系统中,并通过BW1K的初步评测数据验证了这些特性.

基于MapReduce的海量数据挖掘技术研究

MapReduce是一种编程模型,可以运行在异构环境下,编程简单,不必关心底层实现细节,用于大规模数据集的并行运算。将MapReduce应用在数据挖掘的三个算法中:朴素贝叶斯分类算法、K-modes聚类算法和ECLAT频繁项集挖掘算法。实验结果表明,在保证算法准确率的前提下,MapReduce可以有效提高海量数据挖掘工作的效率。

语义对等网构造及搜索机制研究

对等网文件共享系统能否成功极大地取决于搜索机制的多样性和扩展性 当前支持分布式Hash表 (DHT)功能的结构化系统 (如CAN)易扩展但不能有效地支持部分匹配的查询 ,而基于扩散的非结构化系统 (如Gnutella)支持多样化查询但不易扩展 提出了一种新的对等网体系结构 基于CAN构造的pGroup介于结构化和非结构化之间 :结点根据内容的类别自组织在一起 ,具有相同类别的结点相互关联构成语义对等网 (semanticpeer to peernetworks ,SPNs) 针对不同的查询行为 ,提出了相应的搜索算法 实验表明 ,pGroup比Gnutella的扩展性好 。

基于延迟主动副版本的分布式实时容错调度算法

主/副版本备份技术是分布式系统常用的实时容错调度方法,然而传统的主动方式副版本即使在无处理机故障时也需要在备份处理机上完全运行,增加了处理机消耗.提出一种基于固定优先级调度算法的延迟主动副版本(deferred active backup-copy)备份技术,该技术通过尽量向后调度主动方式的副版本,并在主版本成功执行时终止副版本的执行来减少备份的冗余度.在此基础上,提出一种基于该技术的以最小化处理机数目为优化目标的启发式任务分配算法——基于延迟主动副版本的最佳适应算法DABCBF(deferred active backup-copy based best-fit algorithm).DABCBF在保证系统的实时性和容错能力的前提条件下,通过尽量减少主版本的最坏响应时间来最大程度地减少冗余,以节省处理机.最后通过仿真实验,证明了算法的可行性和有效性.