云文件系统中纠删码技术的研究与实现

云文件系统凭借高性能、高扩展、高可用、易管理等特点,成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力,提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长,存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上,通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用,从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面,对云文件系统中纠删码的设计进行了探究,以增强云文件系统的存储模型。在此基础上,设计并实现了纠删码原型系统,并通过实验证明了纠删码能有效地保障云文件系统的数据可用性,并且节省存储空间。

基于子图的服务器网络行为建模及异常检测方法研究

随着恶意代码变异速度加快,隐蔽性越来越强,特别是在攻击者将流量特征进行混淆时,基于流量统计特征的网络异常检测方法漏报率变大。文章应用图分析方法,提出一种基于子图的服务器网络行为建模方法,该建模方法将本地主机流量按照本地主机、本地端口、远程端口、远程主机的顺序建立具有4层树形结构的有向图模型。该模型反映了本地主机与远程主机的通信关系以及两端进程间的通信关系。基于此模型,分别对服务器的客户端行为和服务端行为建立子图模型。由于服务端行为在子图结构上具有长期稳定性,文章提出了基于子图的服务器网络行为异常检测算法SNBAD。该算法对服务器的网络流量划分数据窗口,并对每个窗口分别建立服务子图模型,刻画每个子图的通信特征。该算法通过计算连续数据窗口服务子图的Jaccard相似系数来对异常行为进行检测。文章将主机感染恶意代码的流量混入真实网络流量数据中对SNBAD算法进行了验证,实验结果表明,SNBAD算法能够有效检测服务器服务端行为的异常。

一种硬件事务存储系统模拟环境的研究与实现

针对事务存储技术研究中的模拟实验问题,实现了一种专门用于硬件事务存储系统的模拟环境,该模拟环境采用执行驱动模拟方式,支持全系统模拟,利用系统结构模拟器Simics和多核扩展包GEMS实现多核处理器相关部件的功能和性能模拟,在此基础上扩展实现硬件事务存储系统各部件的建模和模拟,以模块化的方法支持多种事务存储系统的模拟实验和性能评价.论文在分析事务存储和系统结构模拟技术的基础上,讨论了事务存储系统模拟环境的设计思路和方案,给出了该模拟环境的组成结构,并通过一种目标事务存储系统结构和一组测试程序对模拟环境进行了实验测试.

无线传感器网络中的地址分配协议

地址用来标识节点,使能网络通信协议,在无线传感器网络中扮演重要角色.由于无线传感器网络中节点众多,再考虑其网络动态性,手动地为每个节点分配地址是一件繁琐甚至无法完成的工作,于是,地址分配协议成为必需.由于无线传感器网络自身所具有的特点,传统的DHCP协议和adhoc网络的地址分配协议对其不再适用.分析了无线传感器网络地址分配协议的必要性,总结了地址分配协议需要解决的问题和所面临的挑战,并对已有地址分配协议进行了分类.介绍和比较了当前有代表性的地址分配协议,并指出了它们的问题,分析了地址分配协议下一步研究的重点.

SimHPC:一种基于执行驱动的大规模并行系统模拟器

模拟实验方法对高性能计算机系统的性能评价和优化设计有着重要的意义,然而由于目标系统规模庞大,传统的体系结构模拟器难以满足模拟性能方面的要求.文中提出了一种专门用于高性能计算系统的模拟器——SimHPC,该模拟器采用执行驱动的全系统模拟方法,支持操作系统和应用程序的模拟运行.通过采用与目标系统同构的节点作为宿主节点以及并行模拟的方法,使得模拟性能相比传统的体系结构模拟器大幅提高,与现有的几种大规模并行系统模拟器相比,SimHPC在通用性和模拟性能方面也具有一定的优势.

一种基于算子的可扩展复杂事件处理模型

随着大数据处理的深入发展,系统单位时间内产生的数据日趋庞大,数据间的关联关系日趋复杂,这使得传统的"存储-查询"或者"发布-订阅"的方式无法很好地满足诸如故障监控、股票分析、医疗及生命保障等对大数据具有实时处理需求的系统.复杂事件处理技术实现的是将用户对特定的事件序列的查询需求映射到特定识别结构上.该结构从多个持续的数据流中分析并提取满足特定模式的事件序列.该技术能够很好地支持对大量数据进行实时在线分析.但由于在数据处理的过程中,系统不可能预置全部的查询语义,许多系统在使用过程中会需要使用新的语义,以查询新产生的模式.因此,一种支持扩展的语义的复杂事件处理模型是非常必要的.同时,现有的复杂事件处理模型仅针对某几类特定的查询进行描述以及优化,对整体模型缺乏统一描述,导致许多模型在多规则复杂查询的情况下效率欠佳.针对上述问题,提出了基于算子的可扩展复杂事件处理模型.该模型能够良好地支持现有的各类查询语义,具有较快的识别速度.基于该模型的形式化描述,对系统在识别过程中的性能消耗进行了详细分析,给出了模型构造最优算法.通过实验验证了算子模型优化方案的正确性.实验结果表明,经过优化后的树结构事件处理速度比开源复杂事件处理引擎Esper快3倍以上.

Nova-BFT:一种支持多种故障模型的副本状态机协议

云计算在简化用户访问资源方式的同时导致了支撑系统开发部署的复杂,软件错误、部署管理失误导致的拜占庭故障已经成为影响系统可靠性的重要原因.对于在大部分运行周期都满足良性故障模型的系统,拜占庭容错协议在通信复杂度、安全等方面的开销以及其在攻击场景下性能鲁棒性方面的缺陷都限制了其在实际系统中的使用.如何满足实际系统对多种故障模型的需求,已经成为系统设计的一个重要问题.针对这一现状,设计了Nova-BFT,一种有效支持多种故障模型的副本状态机协议,通过牺牲部分峰值吞吐率的方式满足拜占庭容错协议对性能鲁棒性的要求,采用配置参数方式自适应满足良性故障的性能需求.实验表明,Nova-BFT在拜占庭故障模型下吞吐率为4～5kop/s,同时其对良性故障模型的支持可以有效满足大多数实际应用的需求.

一种面向分布式文件系统的文件预取模型的设计与实现

如何为上层应用和计算提供稳定高效的文件I/O性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。

一种识别I/O Feature的文件预测模型

在文件预取技术中,如何提高文件预取的命中率和适用度一直是研究的焦点.尤其是在面对大批量数据读取的时候,如何提高预取命中率对系统的性能提升有着至关重要的影响.本文提出识别I/O Feature的预测模型(IOPM),该模型通过记录文件的历史访问信息获取I/O Features,然后分析这些I/O访问模式,设计一个简单高效的特征符号表来表示这些模式.此预测模型可以有效地识别出顺序读、固定点读、逆序读、跳读、多步跳读等多种模式.同时,该模型添加应用程序的信息,可以有效地对不同程序之间的交叉读做出预测,具有很高的预测命中率.

一种硬件事务存储系统中的事务嵌套处理方案

事务存储是一种旨在改善多核处理器可编程性的技术,高效的事务嵌套处理是硬件事务存储系统面临的挑战性问题之一.为了在不显著增加硬件复杂性的前提下实现高效的事务嵌套处理,提出了一种支持有条件部分回滚的事务嵌套处理方案CPR,该方案为各层嵌套事务维护统一的数据集合,通过增加少量硬件状态位以记录各层嵌套事务对数据的读/写状态,实现了满足特定条件时事务进行部分回滚,在不显著增加硬件复杂性的前提下,提高了闭合嵌套模型的处理效率.基于模拟器Simics与多核扩展包GEMS进行了模拟实验和性能评价,结果表明,CPR方案在复杂性显著低于nested LogTM的情况下,获得了与其基本一致的性能,同时性能相对于传统的扁平模型有显著提升.

分簇无线传感器网络的双时槽混合MAC协议

基于事件驱动的无线传感器网络应用,提出了一个基于分簇优化的低时延混合MAC协议——CHMAC。 CHMAC采用双时槽传输调度和载波检测多路接入/时分多址接入(CSMA/TDMA)混合模式,采用适合分簇网络的时槽分配,优先保证紧急事件的最小延迟发送,并充分利用分簇网络的数据流特点,精细控制节点的侦听、睡眠以及传输功率,以提高能量有效性和网络吞吐量。理论分析和模拟试验表明,该协议能够以良好的适应性和健壮性在各种流量条件下均表现良好的性能。

一种可实现呼损率比例公平的准入控制算法

提出了一种能够实现多业务之间呼损率比例公平的准入控制算法CDPF(call dropping proportional fairness).CDPF根据各类呼叫的平均到达率、平均持续时间、小区驻留时间等参数,动态地计算各类呼叫的准入阈值,从而控制各类呼叫的准入数量,使得各类呼叫的呼损率符合给定的比例.当网络负载发生变化时,各类呼叫的呼损率也随之变化,但各类呼叫呼损率之间的比值始终保持不变.仿真结果表明,随着网络负载的变化,CDPF能够很好地保证呼损率的比例公平.此外,CDPF算法比已有算法具有更低的时间复杂度.

国家高性能计算发展现况

科研信息化有三个基本要素,第一,计算,第二,海量数据的存储与处理,第三,交流与协同能力。这三个能力形成了科研信息化的支撑手段。当然网络支撑所有的,包括计算、协同和数据传输的最基础手段。科研信息化关乎一国竞争力和科研水平的发展,是一种长久的计划,不是可抓可不抓的问题。我国在高性能计算方面有很多的部署,从自然科学基金开始。自然科学基金刚刚设立了一个重大研究计划,"高性能科学计算的基础算法与可计算建模",该计划将持续八年,投资1.8亿人民币,专门研究高性能计算的算法与建模方法。即将结束的一个重要计划是以网络为基础的科学活动环境的研究。

NUMA架构内多个节点间访存延时平衡的内存分配策略

随着多核架构的发展和普及,NUMA多核架构凭借其本地访存低延时的优势,被各大商业数据中心以及科学计算集群广泛采用.NUMA架构通过增加多个内存控制器,缓解了多核架构下对同一个内存控制器的争用问题,但同时也增加了内存管理的负担.Linux的系统开发者为了实现充分利用NUMA本地访存低延时的特点,在为进程分配内存时,选择进程当前正在运行的NUMA节点作为分配内存的目标节点.这种分配会导致进/线程之间共享内存的不公平.例如,一个在当前本地节点被分配很多内存的进程,可能被调度到远端节点运行,这样会导致进程的性能波动.针对这一问题,该文设计了一种保证NUMA架构内各内存节点间访存延时平衡的内存分配策略,并在Linux系统中实现和验证.延时的获取方法依赖平台,但是系统内核的策略是通用的.实验结果表明,与Linux默认的内存分配策略相比,进/线程间的不公平性平均降低了16%(最多34%),并且各进/线程的性能没有较大抖动.

PMTree:一种高效的事件流模式匹配方法

复杂事件处理技术从多个持续事件流中分析并提取满足特定模式的事件序列.高吞吐率场景下,如何快速准确地识别事件序列是复杂事件处理技术中一个非常重要的问题.现在事件流的模式匹配方法——NFA、Petri网、有向图等——存在语义描述能力不足、部分算子实现代价高等缺陷.针对这一现状,设计并实现了一种基于树的模式匹配方法——PMTree.PMTree定义了事件模型及相应事件算子,将事件序列映射为树节点,同时将时间窗口约束及谓词约束等放置在相应节点,这些树节点连接成一棵PMTree来支持实时的事件筛选与过滤.进一步研究了PMTree构建过程中的优化策略,并提出了开销模型以及优化构建算法,以尽可能减少模式匹配开销.实验结果表明,相同测试条件下基于PMTree实现的复杂事件处理引擎Cesar吞吐率是基于NFA实现的开源引擎Esper的3～6倍,并且在不同事件量或事件序列复杂度下性能表现稳定.

一种适于主-从模式网络计算的事件驱动架构

为了满足大规模网络计算系统在高并发、动态资源管理、稳定性等方面的需求,提出了一种适于主-从模式网络计算的事件驱动架构.它综合了多线程任务处理和事件驱动任务处理的优点,基于排队论推导出了针对主-从模式网络计算的线程资源管理方法,通过引入网络队列将分阶段事件驱动架构的应用范围由单机环境扩展到广域网环境,利用延时队列改善了系统的响应性和可靠性,优先级队列的使用有效地支持了各种作业调度机制.此外,系统还具备了模块化构建和快速开发的特征.实验和药物发现网格应用的实践表明,应用该架构可使系统1 000个作业的平均提交时间由1 850 s缩短为1 350 s,作业的平均处理时间由1 910 s缩短为1 420 s,系统资源得到了更合理的利用.

一种用于无线传感器网络的非线性最小二乘声源定位算法

声源定位具有多种典型的应用需求和应用场景,而基于声音能量的无线传感器网络目标定位算法因简单高效而受到广泛关注.基于声音衰减模型的"能量比"非线性最小二乘定位算法(NLS)实现简单,定位精度高,且不要求传感器节点精确的时间同步.但自然界中噪声的广泛存在,以及声音反射和衍射等物理特性影响了该算法在实际应用中的定位精度.基于NLS算法进行改进,通过剔除异常数据,运用加权质心算法对结果进行简单修正和选择性修正,可以提高定位精度.在实际环境中进行实验,部署小规模传感器网络,经传感板上的麦克采集声压数据并计算得到声源位置.结果表明,改进算法较之原NLS算法可以得到更高的定位精度,算法稳定、可靠、有效.

基于Infiniband的大规模并行系统互连网络的建模与仿真

互连网络的数学建模在大规模并行系统的研究和设计中有重要的作用,而Infiniband网络是一种广泛运用于高性能计算机系统的互连网络标准。本文对基于Infiniband的互连网络进行了分析,建立了网络延时模型,并使用该模型分析了2D-mesh和m-portn-tree两种拓扑的互连网络特性。最后通过仿真对分析模型进行了测试和评价,仿真结果表明,该模型能够合理地反映互连网络的特性。

一种面向大规模P2P环境的成员管理机制

基于P2P的系统都严重依赖于底层节点之间形成稳定的具有某种特征的拓扑结构.成员管理通过为节点维护可以直接访问的邻居视图,能够实现根据上层应用的语义组织节点拓扑.然而大规模P2P环境下节点的动态加入/退出、网络状况的动态波动、节点上资源的动态更新以及庞大的节点规模对成员管理的抗扰动性和可伸缩性提出了更高的要求.许多典型的成员管理技术要么忽略了系统的扰动问题,要么忽略了系统的伸缩问题,因而无法在大规模P2P环境下获得良好的效果.提出了一种新的成员管理机制,综合考虑多种系统资源动态变化的因素,通过抗扰动的成员发现协议以及可伸缩的成员维护方法,保证即使在恶劣环境下仍能够为上层应用维护稳定正确的节点拓扑结构.最后通过实验验证了所提出的成员管理机制在大规模P2P环境下的有效性,通过对实验数据的分析得出的结论为进一步的研究工作奠定了基础.

面向互联网应用的图像LBP算法GPU并行加速

很多互联网应用需要进行海量的图片处理。LBP算法是一种图像纹理特征提取算法,广泛用于图像检索等领域,但该算法较为复杂,在处理互联网环境中的海量图片时面临着性能挑战。解决该问题的办法之一就是采用GPU对LBP算法进行并行加速,特别是针对海量图片处理设计加速方案,使GPU同时进行多幅图像LBP特征的并行提取,并采用异步传输方式使多幅图像数据的复制与Kernel函数的执行并行化。通过对GPU单幅和多幅图像并行处理的实验测试,并将实验数据与CPU程序性能进行对比分析,结果表明:对不同分辨率多幅图像并行处理的加速比可达58倍。