MooseFS热备元数据节点设计与实现

针对MooseFS元数据节点的单点故障问题,对MooseFS源码进行改造,为其增加一个热备的备元数据节点,并通过主备之间同步元数据,备节点回放操作日志等技术使得备元数据节点内存中的元数据时刻跟主元数据节点保持一致。当主元数据节点发生故障切换到备元数据节点后,备元数据节点无需从本地加载元数据即可快速接替主元数据节点对外提供服务。测试结果表明,备元数据节点本地和内存中的元数据均与主元数据节点保持一致,且故障恢复时间小于1s。

网格环境中基于元数据节点的资源发现方法

资源发现是网格的关键技术之一,传统的集中式资源发现方法的资源信息共享性较差。本文以实现更为广泛的资源共享为目标,提出了一种基于元数据节点的资源发现方法。该方法继承了关键词搜索方法的优点,支持结果重用,提高了资源发现的效率和资源信息的共享性。

基于网络拓扑与节点元数据的社团检测算法

传统社团检测算法利用网络拓扑挖掘社团结构,忽略了真实复杂网络中节点自身属性等信息在社团归属方面的重要作用。为此,提出基于网络拓扑与节点元数据的复杂网络社团检测算法。将高维的节点元数据建模为混合高斯模型,结合随机块模型建立似然概率模型,通过求解模型最优解得到网络的最优划分结果。在基准网络与Facebook网络上的实验结果表明,该算法不仅能准确挖掘网络中的社团结构,而且可结合真实社团情况给出合理解释。

一种拟态存储元数据随机性问题解决方法

拟态存储作为网络空间拟态防御技术在分布式存储领域的工程实现,能够有效提高存储系统的安全性。由于元数据节点中存在随机性的算法和逻辑,使得执行体状态可能不一致,从而导致整个拟态存储系统无法正常运转。为解决该问题,提出一种元数据再同步方法。在系统中引入状态监视模块和映射同步机制,状态监视模块及时检测执行体状态不一致的情况并进行反馈,映射同步机制建立客户端指令和裁决器输出结果之间的映射关系,使得同步过程在不影响拟态存储系统正常工作的同时符合分布式存储系统最终的一致性要求。在拟态存储工程样机上进行功能和性能测试,结果表明,该方法能够以较小的性能开销来有效解决元数据执行体状态不一致的问题,提升拟态存储系统的稳定性,重复执行再同步机制可使同步成功率达到100%。

混合P2P海量小文件元数据模型研究与实现

数据的海量存储需求对传统数据存储模式带来了巨大的挑战。目前大多数集群/分布式文件系统都被设计用来管理大文件。当在处理海量的小文件时,这些文件系统并不具有良好的性能表现。论文提出了一种面向海量小文件的元数据模型,该模型是基于具有超级节点的混合P2P拓扑结构,对小文件的优化管理具有一定的普适性。通过测试对比发现,在小文件读写性能上有数量级的提升。

Paxos优化算法下的数据库元数据一致性方法研究

通过对Paxos算法的研究与分析,从缩减阶段过程、减少Learner通信量、使用快照机制进行节点崩溃恢复和使用批量提交方式节省通信量等方面改进了基本的Paxos算法,并搭建仿真实验环境,测试验证优化的Paxos算法的效果及性能,得出结论。

云存储系统管理节点故障自恢复算法

为了解决大规模云存储系统中管理节点发生故障导致存储服务不可用的问题,建立了管理节点故障影响分析模型,提出了一种基于消息的管理节点动态自我恢复算法FRA-M.该算法通过基于负载均衡的元数据备份更新控制方法完成多个管理节点之间相互协作、透明接管和故障自我恢复.测试结果表明,FRA-M算法能够使得管理节点发生故障时自动进行切换,并且能够合理地分配资源达到良好的负载均衡状态.通过控制TCP超时时限、故障检测周期以及故障检测超时,能够使得FRA-M算法的性能保持在相对稳定的区间,随失效时刻的适应性也比较强.当管理节点发生故障时,FRA-M能够较好地保证存储服务可用性、数据可用性和数据可靠性.

云存储系统Master节点故障动态切换算法

为了解决大规模云存储系统中Master节点发生故障导致存储服务不可用的问题,建立了面向云存储系统管理节点发生故障时的故障影响分析模型。该模型以存储服务可用性、数据可靠性和数据可用性为分析目标,通过故障状态、管理节点实时状态以及管理节点故障的限制条件三个维度对故障影响进行分析,为恢复故障提供了有效的方法依据。同时,基于故障影响分析模型,提出了一种基于消息的Master节点故障动态切换算法—DSA-M。该算法通过基于序号的优先级策略实现了Master节点动态申请和切换,保证了云存储服务的高可用性。测试结果表明,DSA-M算法能够在Master节点发生故障时自动进行Master节点的切换和接管,恢复云存储服务的运行;通过控制故障检测周期,能够使得DSA-M算法的性能保持在相对稳定的区间内,随失效时刻的适应性也比较强。

HFS+文件系统的解析与数据恢复

针对由硬件因素造成硬盘中数据丢失的情况,提出一种HFS+文件系统下数据恢复的实现方法。该方法能够在硬盘出现坏道的情况下,恢复宗卷中的数据,恢复效率和准确性较高,对于数据恢复领域的发展具有积极意义。介绍了HFS+文件系统的宗卷结构,深入剖析了HFS+文件系统的卷头结构、元数据文件以及节点结构。通过研究遍历B-树的过程,详细阐述了数据恢复的具体实现。

SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的"块典型分布"和"块非典型分布"的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.

一种OGSA架构上基于经验共享的服务搜索方法(英文)

假设同一虚拟组织的成员经常拥有同样的专业兴趣,设计了一种新的数据结构——节点服务表(Node-Service-Table,NST)来记录每个成员的服务搜索经验,借助NST改进了基于经验共享的服务搜索方法CSE。改进算法不仅能减少搜索的盲目性,提高命中率,而且可以用于估算网格工作流执行时间。该方法的时间复杂性是O(n),空间复杂性是O(n2)。

GSM-R网络中GT号码分析研究

正当前,我国铁路GSM-R网络已实现以北京、武汉MSC/STP为双核心平面、HLR/SCP为共用核心设备、地理冗余备份的网络结构,并实现济南、广州等已有GSM-R网络的铁路局双上行接入两核心平面节点的互联。我国铁路GSM-R网络结构见图1。

海上信息栅格化构造体系研究

以海上信息栅格的军事需求和本质特征为基础,对构成海上信息栅格的基础资源层、信息传输层、协同计算层和服务聚合层进行了分析;提出了栅格节点定义标准,对海上信息栅格节点按位置属性和功能属性进行了合理规划;建立海上信息栅格物理资源的信息描述规范,提出通用类、信息探测类、信息处理类和武器打击类元数据描述方法,并对典型元数据进行了描述。

基于Copula函数与贝叶斯网络的股票市场研究

1研究背景 近几十年来,多元数据的收集速度快速增长.一类分支学派采用图形模型,分析和解释多变量数据.这种方法用一个节点表示一个随机变量,通过绘制图形模型来阐述这些变量间的关系.这些关系可以通过将不同节点用边连接来表示,解释多元随机变量间定义的不同关系.

余热发电系统热力计算方法研究(续)

4案例各基本换热计算单元计算详解4.1案例的选择选择的案例如图8[1]所示。图8在原图基础上添加了关键节点参数,构成余热发电系统数据流程图。

使用VB操纵XML文档

XML是当今热门的IT技术之一,它提供了一种公共的信息存储格式,能够使信息内容与描述这些信息内容的元数据共存于同一个文件中.而在以往,实现这种共存是十分困难的,如今XML的出现使它变得相当容易了.