一种基于HDFS的分布式文件系统MPIFS

传统的MPI(Message Passing Interface)计算特点是数据向计算迁移,对于数据量庞大的计算任务具有先天的不足。文中提出一种支持MPI的分布式文件系统MPIFS的架构及实现。该文件系统基于HDFS(Hadoop Distributed File System),使得MPI在MPIFS上能同时支持计算密集型和数据密集型计算,设置两个类型的批处理词频统计实验,所需数据都分布式存储在MPIFS分布式文件系统中,通过调用系统提供的统一数据接口实现数据访问。1个计算节点在本地计算大小为m的文件,n个计算节点分布式并行计算大小为n×m的文件,两者计算时间相同,MPIFS中文件总量不变,计算节点数量减少,计算时间t变长,可得出MPIFS文件系统架构可行,能够支持MPI实现计算向数据迁移的并行计算。

基于分布式储能的削峰填谷控制方法研究

分布式储能,作为一种灵活的能源管理工具,可以在不同地点存储电能,在需要时释放,因而成为实现削峰填谷的有效方式之一。本文首先构建了一个基于分布式储能的削峰填谷模型,详细阐述了其原理、目标函数等,提出了一套完整的削峰填谷控制策略,旨在通过高效的电力调度和能源管理,实现电力系统的优化运行和能源利用的最大化。

基于Hadoop的机群系统综合实验项目开发

为培养学生分析、设计和开发计算机体系结构中机群系统的能力,设计了一个基于Hadoop的大数据处理综合性实验项目。该项目由验证性实验和创新性实验两部分构成,验证性部分由机群系统的部署、HDFS分布式存储、HDFS编程实践和MapReduce分布式计算模块组成;创新性部分可以根据大数据处理技术自由发挥实现。该实验项目的创新性、设计性、应用性和完整性都很强,能激发学生浓厚的实验兴趣、拓展学生知识面。

基于平衡区组的数据编码分布式一致性算法设计

为降低分布式环境下的存储和网络开销问题,采用纠删码比采用副本策略更高效,CRaft虽然将纠删码与Raft相结合,但面临多节点故障时性能突降的问题。提出一种将纠删码结合平衡区组的分布式一致性算法,当系统检测到1个故障节点时,领导者分发数据包会增加1个编码包。测试时,在Raft基础上实现了CRaft和分布式一致性算法,通过逐渐增加系统中的故障节点,验证了该方法的有效性。在出现故障时,该算法相比CRaft的延迟和吞吐量效率更优。

Grid与P2P混合计算环境下基于推荐证据推理的信任模型

在Grid与P2P混合计算环境(Grid&P2P)中,Grid节点提供有QoS保证的服务,而P2P节点的计算资源属于自主贡献资源,不提供QoS保证,用户不为自己的行为承担任何责任,因此节点间的信任关系很难通过传统的信任机制来建立.参考社会学的人际关系信任模型,通过在Grid&P2P中建立信任推荐机制,并利用DS理论对推荐证据进行综合处理来解决该问题.分析及仿真实验说明,基于推荐证据推理的信任模型可以简单有效地解决Grid&P2P中的信任问题.

基于对等网络的面向小文件的云存储系统

针对目前主从结构的云存储系统在存储小文件延迟过大的问题,提出基于对等网络(P2P)的分布式云存储系统.通过改进Chord路由算法提高了资源的查询效率,在系统中引入中心路由节点,中心路由节点上存储系统中所有节点的路由和状态信息,使资源查询时间复杂度缩短到O(l),客户端预取中心路由节点数据,从而减少数据操作时的时间开销;系统通过备份的策略来保证数据的可靠性,实现中数据备份数为3;系统实现了文件存储、读取、删除及列目录等基本操作功能.实验结果表明,与Hadoop HDFS文件系统相比,该系统的小文件操作时间减少了一个数量级.

云计算及其关键技术

云计算是一种新兴的计算模型,它是在网格计算的基础上发展而来的。介绍了云计算的发展历史和应用场景,比较了现有的云计算的定义并给出了新的定义,以谷歌的云计算技术为例,总结了云计算的关键技术:数据存储技术(GoogleFileSystem)、数据管理技术(BigTable)、编程模型和任务调度模型(Map-Reduce)等,分析了云计算和网格计算以及传统超级计算的区别,并指出了云计算的广阔发展前景。

基于Web Services的成教管理信息系统的设计与实现

介绍了WebServices的相关知识,主要分析了构成WebServices协议栈的各层协议。然后在成人高等教育管理信息系统(以下简称成教管理信息系统)需求分析的基础上,指出传统的C/S结构在开发成教管理信息系统中的不足,并结合WebServices分布式技术,构建了基于WebServices的成教管理信息系统的有效设计与实现方案。

分布式系统中一种动态负载均衡策略、相关模型及算法研究

随着分布式系统的广泛应用 ,提高系统的性能的动态负载平衡策略也日益为人们所重视 .本文提出了中间应用服务器负载的一种动态均衡策略 ,并在 Java RMI技术的基础上构建了使用该策略的均衡模型 。

P2P网络中基于矢量空间的分布式信任模型

传统安全方案已无法解决P2P网络中诸如服务欺骗和节点滥用资源的问题.基于信誉的信任系统可以抑制该类恶意行为,但容易受到节点有策略的改变服务质量和提供不诚实回馈信息的攻击.借助社会网络信任关系模型,利用“时间敏感因子”来提高信任模型检测节点行为的敏感性,通过基于矢量空间模型的推荐可信度来防止节点的串谋和诋毁攻击,从而构建了一个基于矢量空间的分布式信任模型,并基于RChain给出了该模型的分布式实现方案.模拟实验和分析表明,该模型简单有效,且具有较好的工程可行性.

云计算及其架构模式

为了构建有效、稳定的云计算平台环境并对其应用性能进行研究,采用理论分析和实践设计的方法,研究了云计算的关键技术,包括云数据中心串联、云数据存储管理技术和云编程模型,提出了一个通用的云计算架构模型,实现了一个基于Hadoop的实际云平台。研究结果表明:该通用架构模型与NIST模型具有良好的一致性,构建的云平台具有较好的分布式计算性能。该成果对云计算架构模型的研究具有一定的理论指导意义和实际应用价值。

激光导引头半实物仿真系统的设计与研制

以某激光导引兵器为背景,研究了将激光导引头实物接入回路的半实物仿真系统的方案、设计与研制。构造了一个激光制导兵器在接近真实飞行环境下,对目标进行瞄准、跟踪和实施攻击的仿真系统。本系统可对该激光制导兵器进行全数字仿真或半实物仿真研究,检测激光导引头接收目标信息、分辨目标、跟踪目标和抗干扰工作能力等。该系统已成功的运用于某型激光制导武器导引头的半实物仿真。

基于ACE的并发编程模式和池式内存分配的研究

利用ACE的并发编程模式并使用池式内存管理,提高了实时消息中间件HCM3的并发性和实时响应性,减少了系统大规模数据传输带来的动态时空开销的问题,优化了系统性能。

基于合同网的任务分配方法的研究

任务分配是分布式问题求解中的一个重要内容，本文介绍了一种基于扩展合同网的分布式系统中任务的分配方法，使用成本值来完成合同网中标值的计算和评估，对传统合同网进行了改进和扩充．

无线Ad Hoc网络中QoS感知的跨层资源分配算法

在分析无线Ad Hoc网络资源分配模型的基础上,提出一种QoS感知的跨层资源分配算法CL-QARA(cross layer QoS aware resource allocation).其主要思想是,引入价格作为资源分配的度量指标,以QoS带宽需求为参数,将网络层的动态资源分配信息与MAC层CSMA/CA接入机制相结合,以改进MAC层的冲突退避算法.设计了改进的退避算法和呼叫接入控制算法,以实现MAC层与网络层的跨层技术.通过QoS感知的资源分配算法和跨层技术协同工作,为QoS服务提供了业务保障.仿真结果表明,CL-QARA算法具有良好的收敛性和稳定性.与其他算法相比,CL-QARA能够有效地提供QoS保证,提高了网络的效用和性能.

网络和分布式系统中的认证

文中在Ｋｅｒｂｅｒｏｓ认证协议的基础上，采用Ｙａｋｓｈａ体制，提出了一个公钥密码交互式认证体制．体制中由用户产生的时戳代替一次性随机数解决时间同步问题，以联网初始化协议代替键入口令，从而克服了Ｋｅｒｂｅｒｏｓ的某些局限性，可安全可靠、高速地通信．本体制可有效地防止口令猜测和重放攻击，并简化了密钥管理和存储．

所有者为中心的网格文件共享研究

为满足网格环境下的文件访问和共享需求 ,提出一种所有者为中心的网格文件共享机制 ,这种机制的核心思想是资源所有权的分割 通过把资源所有权分割为物理所有权和逻辑所有权 ,资源管理任务被安全地分担到多个资源所有者 ;全局用户标识、紧密绑定和一致性授权使所有者可以对逻辑资源的访问和授权传递实现完全自主的控制 基于这种机制 ,实现了网格文件系统原型VegaFS ,VegaFS的用户可以不受管理域信息特性的限制 。

蚁群算法求解分布式系统任务分配问题

蚁群算法是受自然界蚂蚁觅食过程中,基于信息素的最短路径搜索食物行为的启发提出的一种智能优化算法。研究表明,在求解复杂优化问题方面该算法具有一定的优越性。任务分配问题是一类典型的组合优化问题。应用蚁群算法来解决多处理器分布式系统上的任务分配问题,一个任务只能分配给一个处理器处理,而一个处理器可以处理多个任务,其中每个处理器都有固定成本和能力限制。仿真结果表明,该算法比禁忌搜索和随机方法具有更好的求解能力。

基于工作站的分布式系统中的负载分配和平衡策略

作为分布式系统中自动系统决策的基础，提出了一个新的基于多种资源尺度（ｍｒｍ）的用户监控的负载平衡调度器，并讨论了远程进程执行的具体实现方法。采用该文所述策略和方法可使系统性能显著提高。

一种基于动态划分的MapReduce负载均衡方法

MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素.当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡.具体地,对Map的结果进行采样,并将其发送给Job Tracker.Job Tracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.