大文件分块上传和下载软件的设计与实现

针对大文件在网络存储过程中可能存在的上传和下载失败问题,提出了一种利用数据库进行分块存储和管理较大文件的方法。将一个较大的文件分割成多块,分别对分割后的每一块进行上传或下载,从而避免了网络因素对直接上传和下载较大文件所产生的影响。测试表明,通过所提出的分块与合并方法,可以有效地避免文件上传和下载过程中可能出现的失败问题,提高了上传和下载的效率。

基于文件固定分块的数据去重技术研究

研究云端文件同步与共享服务系统校园私有云中云端文件存储服务系统的文件分块技术,分别从分块的必要性、分块的流程、分块的大小选择及分块的策略4个方面给出了介绍。

基于分布式文件系统的海量电能质量监测数据管理方案

目前,电能质量监测数据已经呈现海量化的趋势,如果仅用关系数据库存储,将带来存储占用空间大、存取速度慢、可扩展性差等问题。文中通过分析现有电能质量监测系统中的数据存取特征和硬件环境,提出了一种基于分布式文件系统的海量电能质量监测数据管理方案。此方案将不同电能质量指标的历史监测数据分别压缩后存储在文件中;利用现有监测子站以及相关系统的分布式异构服务器作为文件服务器以存储数据文件;利用监测主站服务器作为主服务器,保存数据特征值和文件索引,并对文件资源进行统一管理。此方案充分利用了各服务器的存储空间和网络带宽,节约了存储空间,提高了存取效率,具有较高的可靠性和可扩展性。以存储100个监测点180 d数据为例,此方案存储空间占用仅为传统关系数据库方案的2.28%;以检索某个监测点180 d的5次谐波三相电压幅值数据为例,此方案加速比约为16.49倍。在四川电能质量一体化数据平台中的成功应用证明了此方案的可靠性和实用性。

基于HDFS的海量激光点云数据分块存储方法研究

在研究HDFS分布式文件系统的基础上,构建了激光点云数据的数据结构,根据此结构对海量点云数据的文件分块存储方法进行研究,并通过仿真试验验证分块存储的有效性。

基于Android移动终端的计算机文件备份系统的设计

随着人们对信息和数据的依赖程度的增强,数据备份变得日益重要,文中设计了一种基于Android移动终端的计算机文件备份系统。为了节约存储空间和降低移动终端的系统开销,采用文件索引和数据块索引相结合的策略,对不同备份类型的文件进行备份和恢复,同时,提出一种改进的差分备份方法,其核心是在计算机端获取文件不同版本之间的差异信息,并传输到移动终端。实验表明,本系统的设计能快速、准确地实现文件备份和恢复,节省了存储空间。

VOD视频服务器上节目的存储与调用

在VOD系统中,为了满足多用户在不同时刻点播同一个视频文件,视频节目的存储需要特殊的方法。采用文件分块存储的方法来解决这一问题,分析了磁盘个数、带宽、用户数、视频流数与文件块的大小之间的关系;同时给出了视频文件分块后的存储方法以及调用视频文件时缓冲区的设计、视频文件的并发读取与重组,从而实现在不同时刻发送同一个视频节目到多个客户端。

断点续传及多线程机制在远程传版中的应用研究

为了提高远程传版的传输效率,通过对断点续传、多线程机制以及相应的传输协议(OFTP)的介绍,在分析文件分块对文件传输速率影响的基础上,从工程实现的角度提出多线程控制不同内容文件和配置文件方法,并将其应用到远程传版软件中。实验表明,多线程断点续传软件不仅可提高传输效率,还保证了传输文件的安全。

分布式系统中纠删码容错机制的研究与实现

为降低分布式系统中容错机制的存储开销,在分布式文件系统中使用纠删码容错机制。本文总结纠删码容错机制实现的几个理论基础,并分析其系统可靠性,在阐明实现该机制的具体步骤后对几个关键算法模块进行了说明,最后对该机制在分布式系统环境下进行实验。实验结果表明,该机制能够有效地恢复受损数据。在合理的缓存块大小和文件分块数策略下,该机制的编、译码率能够较好地匹配局域网中的网络传输速率,且能够节省存储空间。

基于特征的海洋锋线过程时空数据模型分析与应用

客观世界存在时空场,大部分地理实体或现象在时空域具有动态变化特性,其空间、时间和属性是过程的统一体,传统的GIS时空数据模型在描述、表达、组织与分析这类数据时面临许多挑战。然而,基于特征的数据模型和以过程为对象的时空数据组织在动态数据的描述与表达的方面具有独特的优势。本文探讨了基于特征的线过程时空数据模型组织的六元组框架体系,实现空间、时间和属性的一体化存储和地理实体的动态分析。在分析线时空过程特性的基础上,归纳总结出3大类12个类别的线过程,进一步提出了基于特征的线过程时空数据模型(Feature-based Line Process Spatio-temporal Data Model)的概念;利用文件层次分块结构对时空线过程数据进行了组织与存储。最后以海洋锋为实例,探讨了该模型在时空数据组织、时空查询、时空过程提取和时空过程可视化等方面的应用。结果表明,该模型能够很好地应用于具有时空过程特性的线数据中,也为时空数据模型的总体设计提供借鉴。

海量数据跨盘存储机制的设计与实现

针对石油勘探行业海量数据过大而单存储设备无法有效存储的问题,提出了海量数据跨盘存储机制.该机制充分利用面向对象的重载和多态技术,通过定义专门的文件类,封装标准函数库中的文件操作接口,提供对单数据体的各种文件操作,使文件跨盘存储通过软件方案得以实现.该机制有效地提高了单一存储设备存储空间的利用率.

APM架构下动态缓存的BCLFL策略

对基于APM的Web服务器架构进行分析,利用动态缓存来提高服务器的响应时间。对于影响服务器动态缓存的Web文件大小、文件连接地址和文件修改时间等因素进行测试,根据测试数据进行分析、研究、探索,给出一种基于链接的小文件日志分块缓存(BCLFL)优化策略,并采用双进程进行实际测试,结果表明该策略在很大程度上提高了服务器的性能。

基于公钥认证的P2P多点数据传输系统

近年来,多点数据传输成为一个热门话题,广泛应用于各种P2P网络中。随着网络资源的共享越来越被强化,由于对等网络缺乏集中化的管理,安全性难以保证,多点数据传输系统的大规模商业应用所面临的安全问题越来越突出。针对P2P网络的安全问题,设计了一种公钥认证模式来识别用户身份,并实现了一个多点数据传输系统,该系统包括文件分块下载、即时聊天及音频/视频服务等常见应用。