混合结构数据库中基于页迁移的存储分层算法

为了有效地利用固态盘读速快以及磁盘低存储成本的特点,在磁盘和固态盘共存的混合存储结构模型下,设计并实现了一种基于页迁移思想的存储分层算法(SZA)。不同于NUMA的迁移代价计算方法,该算法按照迁移代价选择相应的存储介质,并且对不同工作负载的数据进行迁移。实验结果显示,算法有效地提升了数据库系统的I/O性能,同时大幅度地减少了对闪存的擦写次数。

基于可信云计算的非集中式元数据存储结构优化

在非集中式元数据的存储调用过程中,在硬件结构复杂、负载量大的情况下,参数设置优化步骤复杂,导致带宽达不到存储应用的期望,为此设计了一种基于可信云计算的非集中式元数据存储结构优化方法。设计非集中式元数据存储结构总体框架,计算最优元数据存储结构,通过能量检测对存储分区进行筛选,建立基于可信云计算的存储度量模型,设计可信度量存储报告机制,引入行列混合存储,设计内部结构分布图,实现结构优化。测试结果显示:在不同优化方法下,设计的优化方法所得到的存储结构下并行读写的写入带宽不会受到服务器数量变化的影响,高负载读写下的聚集带宽也较优。

MR-DC:基于MapReduce的轻量级数据压缩策略

大数据平台Hadoop为追求通用性,牺牲了对结构化大数据的处理性能。为此,提出了一种Hadoop平台上的针对结构化数据的压缩存储策略。首先,针对多种不同的数据类型,结合轻量级压缩算法的特点,设计了多种数据类型的压缩数据页;然后,设计了基于HDFS的页式行列混合存储结构;最后,设计并实现了基于MapReduce的MR-DC数据压缩策略,将数据压缩存储到设计的存储结构中。在大规模数据仓库基准数据集上的实验结果验证了提出的策略能够显著减少结构化数据的存储量,从而为提高后续的数据分析处理性能打下基础。