DeduBS:一种基于Hash匹配的数据消重远程备份系统

数据备份规模的不断增大,网络带宽成为了远程数据备份系统的瓶颈.针对这个问题,本文提出了一种基于Hash匹配的数据消重远程备份系统:DeduBS系统.DeduBS系统通过数据消重,避免了在数据备份过程中传输重复数据,有效地提高了网络传输效率.DeduBS系统在源节点和目标节点建立Hash库存储数据块的Hash值,数据传输前通过比对Hash值判断其是否为重复数据,只传输重复数据的Hash值和非重复数据,对于重复数据接收端通过Hash库恢复数据.实验数据表明,DeduBS系统可以减少网络传输的数据量,在降低成本、节省能耗的同时,提高数据备份的效率.

改进的数据消重方法在垂直搜索引擎中的应用

本文对垂直搜索引擎中的数据消重方法做了仔细的分析,对单MD5算法和多重MD5算法在数据消重中的作用以实验作为依据,并将两者相结合得到的算法应用到电子产品垂直搜索引擎当中,取得了较好的数据消重效果,为索引模块的建立打下了基础.

一种采用声学指纹去重的海量MP3文件存储架构

由于Hadoop自身并不适合海量小文件处理,目前的重复数据删除方法主要基于文件的二进制特征,无法识别经过信号处理后的同一首歌曲,也不能满足海量数据在线处理的要求。提出一种采用声学指纹去重的海量MP3文件存储架构,结合音乐文件自身的声学特性和MP3文件包含的元信息,通过索引、在线归并和NAF去重,很好地解决了小文件过多时内存瓶颈问题,同时提供了更好的去重效果;离线归并和副本调整模块根据系统的运行状况不断优化存储。实验结果表明,该架构在性能、去重率、可管理性和可扩展性方面达到了良好的平衡,极大地提高了去重率,与可变分块CDC相比,去重率提高了100%,具有良好的实用价值。

基于虚拟带库实现银行数据备份与容灾

通过福建某银行实际案例,简要介绍虚拟带库在银行业数据备份与容灾系统建设中的使用,在弱化对磁带备份技术的依赖的同时,提高备份和恢复的性能,采用更加安全、稳定和高性能的重复数据消重的磁盘备份方式来解决本地数据快速备份和恢复,以及更方便的实现异地数据容灾。

一种基于语义及统计分析的DeepWeb实体识别机制

分析了常见的实体识别方法,提出了一种基于语义及统计分析的实体识别机制(deep Web entity identification mechanism based on semantics and statistical analysis,简称SS-EIM),能够有效解决Deep Web数据集成中数据纠错、消重及整合等问题.SS-EIM主要由文本匹配模型、语义分析模型和分组统计模型组成,采用文本粗略匹配、表象关联关系获取以及分组统计分析的三段式逐步求精策略,基于文本特征、语义信息及约束规则来不断精化识别结果;根据可获取的有限的实例信息,采用静态分析、动态协调相结合的自适应知识维护策略,构建和完善表象关联知识库,以适应Web数据的动态性并保证表象关联知识的完备性.通过实验验证了SS-EIM中所采用的关键技术的可行性和有效性.

数字化校园异地容灾系统设计与实现

在分析高校数字化校园的建设现状和异地容灾体系的发展与应用情况后,本文深入研究异地容灾体系的相关技术,提出以数据复制为核心的校园网异地容灾系统的技术方案,并具体阐述南京理工大学的异地容灾系统的实现过程,包括实施步骤和实现结果。通过应用体验,表明该平台优势明显,具有一定的参考意义。

基于网页分块的科技信息采集系统的设计与实现

本文针对目前互联网上科技信息需要定向追踪的需求,利用基于Web的信息采集技术,设计科技信息采集系统的系统框架,并对其中的网页分块和数据消重两个关键技术的实现进行了阐述。该系统使用简单方便,减轻了科技人员的工作量。

地级市三甲医院信息系统的容灾备份建设实践

由于医院业务的特殊性,信息系统中断或数据丢失会给医院和患者带来灾难和损失,医院信息系统的容灾备份建设势在必行。本文通过对物理故障和逻辑故障两个方面进行容灾备份建设,保证医院所有信息系统、服务器都有相应容灾备份措施,对于医院HIS、EMR、LIS等核心系统服务器采用双活+连续数据保护的容灾备份方案,对于运行在虚拟平台的PACS数据库服务器、OA系统服务器等有数据库的服务器采用用于虚拟机连续保护的容灾备份方案,对于网站等中间件服务器采用具有数据消重的容灾备份方案,在兼顾性价比的同时达到了医院信息系统容灾备份建设要求。