基于分布式文件系统电力大数据存储策略探讨

随着科技的进步和时代的发展,电力行业得到长足的进步。伴随而来的是电网各个环节产生的数据量呈指数级增长,数据类型也从相对简单的结构化数据向非结构化数据转变。同时为响应国家去IOE政策和国网公司提出的集约型倡议,本文从数据的不同类型,不同的应用场景出发,对数据存储模式进行了详细的分析研究,推出了一套完整的数据存储和迁移方法 ,为国网大数据存储提供新的思路和模式。

应用级分布式文件系统接口标准化探索

回顾了分布式文件系统的发展,分析了已有标准和分布式文件系统的通用体系架构,从接口类型、数据操作接口、管理接口等方面对主流的分布式文件系统的应用接口的特点与异同进行比较,结果表明分布式文件系统的标准化研究是必要的和可行的。

一种分布式持久性内存文件系统的一致性机制

持久性内存(persistent memory,PM)和远程直接内存访问(remote direct memory access,RDMA)具有高带宽、低延迟的硬件性能,这为设计高性能的分布式存储系统提供了新的机遇.然而,它们这些新的特性为高效的数据一致性管理引出了诸多问题:一方面,持久性内存数据一致性依赖于CPU主动执行硬件指令刷写缓存实现,而这类指令开销极高,严重影响CPU处理性能;另一方面,RDMA在服务器端CPU不参与的情况下直接读写服务器端内存,因此服务器端CPU无法主动感知数据写入事件以执行数据刷写操作,一旦系统崩溃会造成数据不一致的问题.针对以上2个问题,提出一种分布式持久性内存文件系统的一致性机制(crash consistency mechanism,CCM):首先设计实现了基于操作日志的一致性保障策略,通过将每次操作的元信息记录至日志,并持久化,以保障系统的一致性状态;其次,设计了一种客户端对服务器端的远程写一致性策略,在完成数据传输的同时使服务器端CPU主动执行数据刷写;最后实现了一种服务器端的数据异步持久化,以提高系统的处理能力.测试结果表明,基于CCM的文件系统写吞吐可达到网络裸带宽的88%.相比于现有系统Octopus,CCM性能下降控制在1%以内.

云存储日志结构文件系统中段回收机制的研究

针对云存储文件系统中,复杂的检索和回收过程导致系统处理用户数据的能力下降问题,基于日志结构分布式文件系统(HDFS-based Log-structured File System,HLFS),提出一种针对系统资源进行有效回收管理来提高云存储空间有效利用率的方法,通过位图标记的方式找到HLFS中段资源的使用情况,实现对HLFS中段资源的管理回收。实验结果表明,位图标记应用于云存储系统中资源管理之后,能够改善垃圾回收的效率。

分布式日志结构数据库系统的主键维护方法研究

目前在电子商务、社交网络、移动互联网等各类应用中存在大量的写密集型负载(例如,电子商务的秒杀活动、社交用户生成的数据流等),这使得基于日志结构的存储成为现代数据库系统中普遍的后端存储方式.而基于日志结构的数据存储方式一般只支持追加操作,高效的主键维护(主键的生成和更新)可以很好地提升数据库追加操作的性能.此外,在分布式和并发的环境中实现主键维护功能还要面临主键唯一性约束、事务性维护、高处理性能的挑战.因此,本文针对日志结构数据存储的特点,研究了如何在分布式日志结构数据库系统中实现高效的主键维护功能.首先,我们提出了两类先读后写操作的并发控制模型;其次,我们应用这两类模型设计了几种高效的主键维护算法;最后,我们在自己的基于日志结构的分布式数据库系统CEDAR中实现了本文提出的主键维护方法,并通过一系列实验验证了所提方法的高效性.

日志结构的嵌入式文件系统研究

在深入分析jffs2源代码的基础上,对jffs2文件系统的实现机制进行了探讨。将jffs2文件系统分别在 I386平台和TOSHIBA平台中建立出来,并对各种配置进行比较,在文件系统的性能方面提出了改进的方案。

对等结构的分布式存储系统设计与研究

随着计算机技术与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点。文章设计并实现了对等结构的分布式存储系统—NDSS,它可以提供大容量、高性能、高可靠性与灵活扩展的存储服务。介绍了NDSS的系统结构、工作原理与关键技术,并提供了对系统访问性能的实验测试结果。

基于日志结构合并树的轻量级分布式索引实现方法

针对现有基于日志结构合并树(LSM-Tree)实现的分布式数据库仅支持高效的主键查询,无法让用户快速地应用在自己的集群中的问题,提出了基于LSM-Tree的轻量级分布式索引实现方法 SIBL。首先,通过对主键属性列建立索引来提高非主键属性的查询效率;然后,提出了分布式索引构建算法以及基于等距取样的索引区间划分算法,从而保证了索引在系统中的均匀分布,并且优化了传统索引的查询算法,将索引文件看作特殊的数据文件分布式地存储在系统中,从而保证了系统的负载均衡和可扩展性;最后,将该方法与华为二级索引方案HIndex在HBase数据库上进行实验来比较二者的索引构建的时间和空间开销、索引的查询性能和系统的负载均衡等性能,验证得出所提出的方法使查询性能提升了50~200倍。

基于多代理技术的分布式Web日志挖掘系统

在分析分布式Web日志挖掘的图难以及介绍多代理的概念和特性后,提出了一个基于多代理技术的分布式Web日志挖掘系统的体系结构。介绍了Web日志挖掘过程以及多代理在该系统中的应用。

一种基于日志结构的自动压缩/解压缩文件系统的实现方案

文章提出了一种新的用于文件系统的抽象层———磁盘存储块抽象层的思想,并进行了详细的分析阐述。同时,利用磁盘存储块抽象层,设计出了一个基于日志结构的自动数据压缩/解压缩文件系统。

对等结构的分布式入侵检测系统研究

在分析现有分布式入侵检测系统体系结构的基础上,提出了对等结构的分布式入侵检测系统(P2PDIDS)的设计思想,并提出了采用日志数据库和联系部件来解决对等结构中存在问题的方法,该方法可有效地提高系统的安全性和检测性能。

分布式存储系统中的日志分析与负载特征提取

对运行在文件系统上的工作负载进行分析有助于优化分布式文件系统的性能,且对构建新型存储系统至关重要。由于工作负载的复杂性和规模多样性的增加,使用基于直觉的分析来显式地捕获工作负载踪迹的特征是不完备的。针对这一问题,提出了一个分布式日志分析与负载特征提取模型。首先,从分布式文件系统日志中根据关键字抽取出与读写相关的信息;其次,从统计与时序两方面对负载特征进行描述;最后,分析基于负载特征进行系统优化的可能。实验结果表明,提出的模型具有一定的可行性与准确性,且可以较为详细地给出负载统计与时序特征,具有低开销、高时效、易于分析等优点,可以用来指导具有相同特征的工作负载的合成、热点数据监测、系统的缓存预取优化。

日志结构文件系统技术的研究

介绍了一种新的磁盘管理技术———日志结构文件系统。把对文件的修改汇成日志条目顺序地写入磁盘 ,既加速了写文件的速度 ,又加速了崩溃恢复的速度。把整个磁盘作为日志 ,磁盘上包含有效的读取日志结构文件所需的索引信息。为了保持快速写所需的大的磁盘空闲快 ,将磁盘分成段 ,用一个清理工线程收集压缩分散到各个段中的有效信息。以一个日志结构文件系统的原型 ,即SpriteLFS为例 ,对日志文件系统设计和实现的各个阶段进行了分析 ,并与Unix的文件系统 ,即快速文件系统 (FFS)进行了比较。

基于闪存阵列的日志结构文件系统在桌面云中的应用研究

云存储技术实现了桌面云数据的海量处理,此文分析了传统机械磁盘和基于闪存的固态硬盘的各自利弊,研究了一种既能屏蔽闪存阵列缺陷又能实现其性能最大化的日志结构文件系统算法,并利用这种算法来优化桌面云存储系统,为桌面云存储读写性能的提升提供参考。

基于分布式Web的多线程日志的研究

系统日志是软件系统中的一个重要组成部分。本文研究了基于W eb的多层分布式网络应用系统的体系结构以及多线程编程技术的原理,然后在此基础上提出了一种在多层分布式网络应用系统中采用多线程技术来实现系统日志的方法,并且在桥梁数字化管理系统中取得了成效。

一种日志结构块存储系统一致性模型

随着物理设备容量增大,日志结构块存储系统一致性模型及异常恢复的时间和空间复杂度都在增加。一致性状态作用域大小与异常恢复复杂度成反比,与写请求冲突概率成正比。首先,提出单一一致性状态定义(CTS),降低异常恢复复杂度。其次,分析一致性状态生成的充要条件和开销,引入WSL链表设计一致性状态生成算法;在一致性状态生成算法的基础上,本文提出多WMT元数据管理结构MCT,将一致性状态生成与用户写请求冲突降低至链表结点级别。最后,以一致性模型为基础设计异常恢复算法,并设计实现日志结构块存储系统SCB。实验表明,相对于ASD系统,SCB系统吞吐率提升135.59%,99.90%尾延迟降低42.89%,fileserver负载性能提升25.00%,异常恢复时间为ASD的1/23。相对于dm-thin系统,SCB系统吞吐率提升225.72%,varmail负载性能提升46.67%。

XFS日志文件系统的关键技术研究

对日志文件系统和传统文件系统进行了比较 ,介绍了 XFS在日志文件系统上的改进。针对一种具体的日志文件系统—— XFS进行了详细的介绍 ,包括 XFS的体系结构 ,以及它进行的优化 ,主要表现在管理大文件、大目录、超多目录文件的各种机制和高效的 I/O处理。最后介绍了 XFS在项目里的应用。

基于分布式Web的多线程日志的研究

系统日志是软件系统中的一个重要组成部分。研究了基于W eb的多层分布式网络应用系统的体系结构以及多线程编程技术的原理;然后在此基础上提出了一种在多层分布式网络应用系统中采用多线程技术来实现系统日志的方法,并且在桥梁数字化管理系统中取得了成效。

分布式机房智能监控系统设计

针对传统智能监控系统互联困难、监控布局复杂等局限,本文提出了一套分布式机房智能监控系统的解决方案,详细描述系统的结构、流程与功能,并对其进行实现。此系统能够实现低温、高温和断电等极端情况下继续运行,提供智能化报警与自动调节功能,并对警报记录进行追踪、批量处理与统计分析。

分布式系统概念与设计

图书简介：《分布式系统：概念与设计（原书第5版）》旨在全面介绍互联网及其他常用分布式系统的原理、体系结构、算法和设计，内容涵盖分布式系统的相关概念、安全、数据复制、组通信、分布式文件系统、分布式事务、分布式系统设计等，以及相关的前沿主题，包括Web服务、网格、移动系统和无处不在系统等。