基于CNN-LSTM和卷复制方法的高可用系统设计方法

针对单机服务器存在的单点故障问题,以及主备双机中存在的逻辑故障导致数据丢失的问题,设计了一种基于卷积和长短期记忆神经网络(CNN-LSTM)和卷复制方法的HA(High Availability)系统。系统至少包含两个节点,一个主节点以及一个或多个备用节点,主节点和备节点之间支持主备切换。每个服务器节点上包含4个模块,分别是负责接收配置信息与读写请求的代理模块;进行磁盘读写操作和重定向读写的磁盘I/O(输入输出)模块;负责主备节点间备份快照、映射表、数据块复制的卷复制模块以及基于CNN-LSTM进行状态检测的高可用模块。实验表明,该系统不仅可以解决单点故障问题,也可以解决主备双机集群中无法解决的逻辑错误问题;同时基于CNN-LSTM方法,自动针对服务器的运行健康状态进行分析和预测,可以根据预测结果自动通知管理员进行处理或自动进行主备切换。

一种改进的块级连续数据保护机制

随着存储技术的快速发展,连续数据保护(CDP)功能已成为现代存储系统重要的数据保护和恢复手段.根据当前不同CDP实现机制的优缺点,提出了一种基于TRAP-4的改进机制——ST-CDP.在保留TRAP-4原有数据记录方式的基础上,按一定间隔值d在恢复链条中插入对应时间点的快照数据,有效地解决了TRAP-4的链条易失效和恢复时间过长问题.借助量化分析模型分析了该机制的性能并确定最优的d值.原型系统在Linux内核块设备层的RAID5上实现了该机制,并通过实验对3种不同CDP机制进行对比测试.实验结果表明ST-CDP既具有与TRAP-4类似比快照机制存储开销低、系统性能影响小的优点,还具有比TRAP-4更快的恢复效率及更高的可靠性.因此ST-CDP是一种高效并且恢复成本较低的连续数据保护机制.

基于JDBC的数据访问优化技术

为使Web应用系统能够有效、快速地访问数据,分析当前Web系统三层框架有关数据缓存和访问优化的技术,通过对JDBC接口原理及实现技术的深入研究,提出基于JDBC的数据自主识别、前置驻留与快速访问的策略和实现方案。使用key-value存储机制,通过客户端-应用层的快照数据快速访问机制提升Web系统综合性能。测试结果表明,该方案能够有效提高Web系统在数据访问的响应速度,实现多客户端的数据共享,具有一定的普适性和推广价值。

一种块级别多模式数据容灾模型

提出一种基于Linux平台逻辑卷管理系统的块级别多模式数据容灾模型,论述了其系统结构与工作流程,并详细讨论了快照数据备份、连续数据保护、远程数据复制3种容灾模式的工作原理与关键技术。

一种连续数据保护系统的快照方法

针对传统连续数据保护技术中使用的快照存储技术难以高效存储足够多快照的问题,提出了一种新的快照存储技术,即基于凸点集合的快照存储技术(convex point SNAPshot,简称CSNAP).在讨论了CSNAP技术使用的数据结构,并引进了在数据结构中加入指针构成的凸点概念的基础上,分析了凸点集合具有的基本性质,并给出了利用凸点集合储存快照的相关算法,同时还给出了一种使用逆行代价改进CSNAP的方法.最后通过在实际工作负载和随机合成工作负载下的模拟实验说明了,在平均情况下,使用改进的CSNAP技术,可以将快照占用的储存空间减少到传统方法的10%以下.

基于时空快照数据库的时间序列预测

时空数据库是在空间数据库的基础上引入了时间维,时空数据模型和时空变化分析是GIS领域当前研究热点之一。提出一种在时空快照数据中预测时间序列发展和关联规则发现的方法。首先采用基态修正模型表达时空数据,从中提取出时空快照序列,将时空快照序列聚类为几个簇,再在簇内挖掘关联规则。将该方法应用于实验数据,结果证明这种方法能够有效地从时空快照数据中发现时空序列的发展趋势。

动态GIS数据对象模型探讨

动态地理信息系统(Spatial-Temporal Geographical Information System)是GIS的必然发展趋势,是实现动态数字地球的关键技术。静态3D GIS的技术已经成熟,而将时间维加上后形成4D的TGIS还处于数据模型研究阶段,主要原因是超海量数据的存取和查询问题仍然没有完全解决。在对已存在的数据模型进行探讨并在此基础上进行深度综合研究,提出了新的观点:结合快照模型的简单易行性和面向对象模型的方便灵活性,同时避开快照模型的不一致性和冗余性,以及面向对象的复杂性,形成复合的基于快照方式的面向对象模型。它将是一种实用的TGIS数据模型,在对时间属性的处理方面采用独到的方法:首先按照时间片进行分层,建立一个基数据,然后通过快照方式产生缓冲数据,经过比较形成一个以对象变化为主的带有时间戳的新数据层,最后再通过其变化函数将离散的时间层连接起来,形成一个有机连续的数据库。这样,在数据存储方面,节省了很多空间;在查询分析方面,使以对象变化分层的数据算法更容易实现,同时可以实现对象的历史回放功能。此理论方法有效地对TGIS难点进行大胆探讨并通过自动元胞机理论(CA)予以证明。

战场态势信息数据模型研究

战场态势信息数据模型是战场态势可视化系统的基石,但对它的研究还处于起步阶段,因此迫切需要系统地研究战场态势信息的数据模型。提出了物理数据模型和逻辑数据模型的概念,将战场态势信息数据模型分为两个层面:通过将数据库结构分为基本表、控制表、动态表三部分,设计了一个支持动态扩展、多用户并发访问等特性的静态、动态态势目标一体化存储的物理数据模型;通过提出并引用"快照"的概念,在逻辑层面消除了静态与动态态势目标的区别,设计了内存结构一致的高效逻辑数据模型。具体分析了在模型实现与系统开发中的几项关键技术,并在实际工程应用中验证了该模型的可行性与合理性。

网络表格间的快照关系发现

近年来,互联网上涌现出大量结构化的表格数据,网络表格的价值不仅在于数据本身,还在于数据之间的关系。只有探测出表格之间潜在的关系,方能更好地利用这些结构化数据。因此提出发现网络表格间的快照关系,并给出发现快照关系的框架以及检测与给定表之间满足某种匹配关系的快照表的算法,快照表可用于优化查询以及在大数据环境下实时地返回部分查询结果。提出了基于实体和属性重合度的评分方法,并引入实体新鲜度的概念,使得算法在快照关系的发现过程中更多地关注能提供新鲜实体的表;与此同时,基于Bayes模型的表格内容增强算法能更加准确地判断属性列上值的一致性,从而提高快照关系发现的准确率。大量实验表明,该评分模型能发现高质量的快照表,且在快照的查询精度和召回率上表现出色。

一种在数据网格中的快照管理的量化分析方法

从数据库的观点看,在执行单一查询前进行复制数据集是容易实现的,但查询处理器指派一次查询给那些没有充分操作和存储合适副本的结点时,从而引起在同步机制中副本快照经常过时和副本定位时带来昂贵的网络开销。讨论一种在全局数据网格中多个结点的非一致性及快照管理的量化分析方法。

基于快照日志分析的数据同步方法

在大型信息系统的开发中，分布式数据库和分布式应用系统间的数据同步问题是一个较难解决的问题，现有的各种解决方案存在着难以反映源数据频繁变化、工作效率低以及应用程序间协调困难和部署管理复杂等问题。通过对Oracle数据库的数据复制机制的研究，提出了基于快照日志分析的数据同步方法，介绍了快照日志的数据结构、对数据库操作的记录方式，并阐述了提取快照日志记录的增量变化的日志分析算法，对于实现事务操作频繁的数据表间的数据同步提供了一种新思路。

一种基于快照管理的非一致性分析法

从数据库的观点看,在执行单一查询前进行复制数据集是容易实现的,但查询处理器指派一次查询给那些没有充分操作和存储合适副本的结点时,从而引起在同步机制中副本快照经常过时和副本定位时带来昂贵的网络开销。本文将讨论一种在全局数据网格中多个结点的非一致性及快照管理的量化分析方法。

基于快照方式的面向对象模型探讨

TGIS(Spatial-Temporal GIS)是GIS的重要分支,是实现动态数字地球的关键技术。静态3D GIS的技术已基本成熟,而其加上时间维的4D TGIS的关键技术是时空数据库的建立及其操作,它们与时空数据模型有关,主要处理超海量数据的存取和查询。本文结合快照模型的简单易行性和面向对象模型的方便灵活性,同时避开快照模型的不一致性和冗余性,以及面向对象的复杂性,探讨基于快照方式的面向对象模型,是一种实用的TGIS数据模型。它在对时间属性的处理方面采用独到的方法,首先建立一个基数据,然后通过快照方式产生缓冲数据,经过比较形成一个以对象变化为主的带有时间戳的新数据层。这样,在数据存储方面,节省了很多空间;在查询分析方面,以对象变化分层的数据算法更容易实现。此理论方法有效解决了TGIS的“瓶颈”问题,并通过自动元胞机理论(CA)予以证明。

一种面向LUCC的时空数据存储管理模型

为满足土地利用和地表覆盖变化(land-use and land-cover change,LUCC)动态监测中时空数据统计分析、时空过程模拟、时空演变分析预测、时空数据挖掘的应用需求,需将LUCC数据存储管理方式由单一空间数据推进至时空数据存储管理。本文提出一种基于快照和面向对象的混合时空数据模型,支持矢量和栅格时空数据存储管理、LUCC时空过程模拟、LUCC时空过程建模参数提取和成果数据管理与发布。基于该模型研发了LUCC时空信息系统原型,以LUCC时空信息统计、地表覆盖斑块时空过程模拟、地表覆盖时空转移矩阵计算为例,验证了模型的可行性。

基于Linux平台的远程数据容灾系统的设计与实现

针对当前远程数据容灾系统效率比较低的缺点,提出并实现一种远程数据容灾系统(RDBRS);通过对Rsync框架进行改进,利用Inotify和快照定位生产系统发生变化的文件并且获取文件增量,同时利用Rsync进行远程数据传输,大大降低了容灾系统对服务器系统资源的占用,减少了网络传输数据量。实验结果表明,在千兆网络环境下平均灾备速度相对于Rsync有了近10 MBps的提升,对资金相对不充裕的中小企业具有较高的应用价值。

基态修正模型的时空数据组织和快照查询方法研究

基态修正模型是目前应用较广的一种时空数据模型。本文分析了基态修正模型中的时空数据特点,采用shapefile文件作为基态数据文件,自主设计差文件格式来存储和组织变化数据。在此基础上设计了快照查询的算法、流程和查询结果的显示方法。为了给用户提供更直观、更充分的时空信息,本文提出了一种双屏幕多视图的时空数据显示模式。采用VC.NET从底层开发了一个时态地理信息系统平台,并以中南大学主校区的时空数据为实验数据对上述算法和模式进行了检验。实验表明,本文所设计的算法可行,快照显示模式能够提供更直观、更丰富、对比性强的信息内容,是时空信息显示的一种可行模式。

一种基于对象和快照的混合地表覆盖时空数据存储模型

时空数据模型是数据库和时空数据分析研究热点之一。由于时空数据变化类型多、分析计算复杂及应用范围广,一种观点认为建立通用的时空数据模型具有高度复杂性。本文针对地表覆盖变化时空数据建库和时空分析应用需求,提出了基于对象和快照的混合时空数据模型。该模型用面向对象描述地表覆盖的斑块对象时空过程,组织管理斑块对象时空事件和空间、属性信息,同时用快照描述地表覆盖整体时空分布,组织管理栅格快照,两者通过基于时间和空间位置的逻辑关联关系形成混合模型。模型在表达对象自身变化的时空事件类型基础上,增加了不同分类对象之间互相转变的时空事件表达。该模型既可以用于对地表覆盖历史观测数据组织存储建库,又可以用于支持时空统计分析、时空演变模拟和时空数据挖掘。通过对黑龙江地区地表覆盖时空数据建库、查询检索、整体格局演变分析和斑块变化时空过程检索与表达的试验,验证了模型的有效性。

序列状态的林业资源时空数据模型研究

对林业地理实体时空演变过程进行分析,认为林业地理实体的演变总体上是渐变和突变交替的时空过程,而且各专题属性和空间分布的演变类型和演变频率不尽相同。在此基础上,提出由序列快照和事件方法组合而成的序列状态时空表达方法,以状态集表达时空对象在生命周期内的演化历程,并针对林业数据的特点,采用面向对象的数据组织方式设计了林业资源时空数据模型。模型可对不同演变类型进行组合,并实现了对渐变和突变的统一表达,另外,模型也允许采用不确定数据以加强对渐变过程的表达。通过原型系统验证了模型的可行性。

存储备份技术探析

快速增长的网络数据信息和其高可用性的要求刺激了存储备份技术的发展。目前 ,存储备份容灾正受到用户的关注 ,不少用户都已开始了这方面的考虑。为了更好地帮助用户了解有关存储备份容灾方面的知识 ,详细地介绍了存储网络备份容灾所涉及到的技术及其代表性的产品。

一种新的复合快照技术的研究与设计

针对当前镜像分离技术占用存储空间大、快照数量受限且无法解决系统逻辑错误,以及写前拷贝技术与重定向写技术因共享源卷数据而无法解决磁盘物理损坏造成的数据丢失问题,有效结合镜像分离技术与重定向写技术的优点,设计一种复合快照机制。既保留源数据卷的全备份,解决快照数量限制的问题,又完整地保存了增量快照数据,实现了应用复合快照技术的数据保护系统兼备了数据容错与容灾能力。