基于Linux内核的Key-Value存储系统——KStore

Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出。针对该问题,给出了一个内核态Key-Value存储系统的实现——KStore:提供内核空间的索引和内存分配机制,并在此基础上,通过基于内核Socket的远程接口以及基于文件系统的本地接口,保证了KStore的低延迟;同时,通过基于内核多线程的并发处理机制,保证了KStore的并发性。实验结果表明,与Memcached相比,KStore在实时性和并发性方面都取得显著优势。

基于小文件的内存云存储优化策略

由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。

面向海量小文件的分布式存储系统设计与实现

针对当前大数据环境下急速增长的小文件的保存和管理问题,提出一种基于分布式海量小文件存储系统的设计和实现方案。采用IO复用和异步调用技术开发分布式系统,保证良好的并发性能和扩展性,使用Redis系统提高元数据存储和检索效率,采用Google Protobuf设计一套消息传递和分发机制,通过块存储方案提高大量小文件在单机存储系统上的IO效率并降低磁盘碎片化。实验结果表明,该系统在并发性、吞吐率测试上都有良好表现,是一个较为稳定高效的海量小文件分布式存储系统。

一种基于LSM树的键值存储系统性能优化方法

目前,键值(key-value, KV)存储系统在众多数据密集型的应用系统中发挥着关键作用,例如页面索引、电子商务以及云存储系统等.在各种键值存储系统中,基于日志结构合并(log-structured merge, LSM)树的KV存储系统获得了广泛的应用.主要原因是基于LSM树的KV存储系统能够将随机写操作转化为顺序写操作,从而提升数据写性能.然而,这些存储系统也存在一些严重的性能问题.一方面,KV存储系统利用预写日志机制来保证写入数据的原子性和安全性,以便在系统发生故障时进行恢复,造成了数据的写放大.同时,日志的频繁更新也引入了严重的元数据负载,导致了额外的性能开销.另一方面,KV存储系统通常利用通用文件系统存储数据,而通用文件系统中许多KV存储系统不需要的功能和属性也会造成一定的性能开销.为了减小这些开销、提升KV存储系统写入性能,提出了RocksFS,一个针对基于LSM树的KV存储系统优化的文件系统.针对KV存储系统的负载模式简化文件系统结构,去除通用文件系统引入的负载,同时优化预写日志的存储结构和更新流程以减小其更新负载,提升写入性能.最后在普通硬盘和固态硬盘上,基于流行的KV存储系统RocksDB验证了该方法的有效性,结果显示相对于通用文件系统,RocksFS能够将小块KV数据写入和更新性能提高约8倍.

数字资产管理系统—DSpace研究

本文简要叙述了DSpace的开发背景以及DSpace的优点,进而提出了构建基于DSpace数字图书馆的优越性。最后笔者叙述了如何构建基于DSpace的数字图书馆。

基于Google云计算平台的文件共享系统设计与实现

文件的存储、管理以及随时读取是众多现代企业的基本要求。分析了Google App Engine开发技术;提出了基于Google云计算平台的文件共享系统的设计方案;通过对Google App Engine开发环境的部署,实现了文件共享系统。

一种云环境下的镜像文件存储系统

随着云计算的发展进入主流,在云资源池中的虚拟机数量也越来越多,因此为满足负载平衡和节省能源的需求,怎样快速低成本地在不同主机之间迁移虚拟机成为了研究者研究的一个热点问题。设计了一个分布式镜像文件存储系统——IFSpool。基于Lustre的该存储系统能够完成3个目标:大容量、高扩展性地支持成千上万个虚拟机镜像,高I/O吞吐率的数据访问和针对虚拟机启动风暴的启动优化。IFSpool紧密地结合队列和缓存机制,并通过协调数据访问顺序提高I/O吞吐率和减轻启动风暴。IFSpool的I/O带宽和存储容量能容易地通过动态增加存储节点和服务器扩充。实验结果表明,IFSpool对于虚拟机迁移是非常有效的。

同胸围尺码的文胸纸样处理规则

通过观察相同胸围女性上身形体,修正女装原型基础纸样,探讨适合不同上身体形的文胸设计基础纸样.

高校声像档案管理模式创新研究

声像档案是高校档案资源体系的重要组成部分,在记录学校的发展历史、再现历史原貌等方面有着不可替代的作用。当前高校声像档案管理面临着诸多困境,应该提高管理意识、健全管理制度、完善声像档案数据库、融合互联网技术、开发声像档案新模式,从而规范声像档案的管理,提高声像档案归档质量。

现代科技对档案工作的影响及对策研究

传统的档案几乎都是纸质档案,随着科学技术的飞速发展,胶片、磁带、光盘等载体材料的出现,档案领域也相继产生了大量非纸质的档案,即以磁、光为介质的新型载体档案。磁盘及光盘存贮的综合应用加速了档案管理的现代化进程。

会计档案存储载体的选用及修复研究

会计电算化带来了会计档案工作的变化,使会计档案的存储载体为打印纸、光盘等形式。从源头上保证会计档案载体的正确选用,加上后期的会计档案信息修复是会计档案长期保护的积极措施。

VAX/VMS操作系统下磁盘文件恢复

本文叙述了在VAX/VMS操作系统支持下磁盘文件的存贮结构,内部标识及查询方法,讨论了如何对误删的磁盘文件进行恢复以及实用软件DFR的设计方法。

基于广域网和异构环境的ODS数据更新策略

为满足信息处理的多层次需求,为企业日常决策分析者提供即时准确的全局数据视图,出现了DB-ODS-DW3层体系结构,其中ODS承担了承上启下的重要作用。该文就ODS中的关键技术——数据更新策略进行了深入的研究,在对比分析了ODS传统数据更新策略的基础上,提出了一种基于网络和异构环境下的ODS数据更新策略,利用XML技术实现了异构数据库环境下变化数据的更新,以及变化数据文件的高效传输,并在实际应用中获得了理想的效果。

基于FAT16模板恢复硬盘丢失的数据

通过对硬盘FAT16结构、逻辑参数、文件存储与读写规律的分析,给出实现硬盘在文件分配表被破坏、清空或文件被意外删除的状态下使用FAT16模板的数据恢复技术.

基于C++的Windows CE文件I/O处理技术

通过对WindowsCE文件系统的分析以及各种文件I/O处理方法的进一步研究 ,发现大多数WindowsCE应用程序的文件I/O处理都是使用基于Win32API函数的方法或基于MFC类库中CFile类的方法 ,本文讨论了这两种文件处理方法的基本原理及其运用。

基于准文件系统的高速大容量数据存储系统设计

介绍了一种基于准文件系统和SD卡,以C8051F060[1]作为主控芯片的设计方案,使最高存储速度达到500kB/s,存储容量达4GB,并可方便地传给PC机.

环境影响评价数据仓库模型的构建研究

随着环境影响评价基础数据库数据中心数据量的逐年指数增长,数据库服务器对客户端的响应时间也随之延长,对数据高效管理的要求也日益明显.结合环评基础数据库项目建设过程中数据分析和挖掘预测的需求,提出基于ODS的环评数据仓库的总体架构,构建基于OLAP技术的面向多主题的数据仓库模型,研究遗漏值、数据异常等不同问题的数据清理和填充方案,构建基于DS-ODS-DW的数据加载模型.研究实现基于基础数据库的统计分析和数据挖掘功能,为数据管理者提供数据预测与决策支持功能.通过模型在数据分析和数据挖掘方面的应用案例,验证了该模型和方法的合理性和有效性.

基于VB的体育理论课程考试系统设计与实现

在研究某学院理论性课程教学现状的基础上,旨在推进现代化教学改革,切实提高学生的知识掌握水平,并结合多年的教学实践经验及学生的实际特点,阐述了沈阳体育学院理论型课程无纸化考试系统的设计与实现。

利用簇的多重映射节约硬盘空间

本文介绍了计算机和其他存储器中另一种文件存储结构,提出了存储器结构中可能出现的簇重复性,达到节约存储空间,扩大硬盘容量的方法。

基于簇的多重映射节约硬盘空间

该文介绍了计算机和其他存储器中另一种文件存储结构,提出了存储器结构中可能出现的簇重复性,达到节约存储空间,扩大硬盘容量的方法。