基于气象大数据云平台的政务区数据同步技术研究

随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的数据同步,提升气象数据服务能力和信息化水平。依据气象数据的类型和特点,将其划分为一般结构化数据、特色结构化数据和非结构化数据三类,针对每类数据提出了相应的同步技术方案,构建了针对政务区数据同步的综合解决方案,并以山东省气象数据为例进行了实验分析。结果表明,所提方案具备高度可行性、有效性和安全性,可为政府决策提供强有力的数据支撑。

ML_Raft算法在mysql分布式集群中的研究

为解决传统的Raft算法存在的数据库同步时间过长、单领导者影响集群性能和稳定性等问题,基于mysql分布式集群,分析了数据一致性问题,提出新的改进算法设计——ML_Raft算法,建立了计算集群与数据同步集群,每个集群功能不同,提高了集群响应能力,降低了每个集群节点的服务压力,提高了集群性能。结合mysql集群的应用环境特点,将计算节点和同步节点分开,提出了多个领导者节点,以保证集群的可靠性,加快了响应速度,提高了用户感知。

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.

一种高性能的分布式事务及一致性复制实现

GoldenDB作为一个面向海量数据处理场景下的分布式事务数据库,支持分布式事务,同时保证金融级的强一致、高扩展、高可用等特性。详细阐述了金融及电信场景下的高可用和一致性需求,设计并开发出一种高性能的分布式事务和一种Raft增强的一致性日志复制协议实现方案。

DB2 HADR技术在商业银行信息系统中的应用

随着信息技术的不断发展,各类信息系统广泛应用于人们的日常生活。目前,大多数银行业务都可以随时、随地办理,摆脱了时间、地点的限制。IT系统作为银行的生命线,支撑着银行业务的发展。如何提高信息系统的安全性和稳定性,保证业务的连续性,是银行IT系统建设时必须考虑的问题。基于这种背景和需求,介绍了DB2HADR技术在商业银行信息系统中的应用。

虚拟计算环境中的分布式软件日志管理机制

软件日志的记录与审计是软件容错中至关重要的一部分,但是现有日志文件系统缺乏足够的信息为安全审计和故障恢复提供支持.为了解决这个问题,本文提出的VDSL(虚拟化分布式软件日志管理系统)利用虚拟化技术封装业务的整个执行环境.VDSL克服了传统日志管理系统隔离性差,资源利用率低的缺点,在分布式系统中利用动态二进制翻译技术记录各虚拟结点的日志,将这些日志发往故障服务器,在故障服务器利用聚合技术将这些日志进行同步.实验表明,VDSL系统可以很好地完成虚拟化环境下分布式软件日志的记录功能,同时可以将分布式系统中各虚拟结点的软件日志同步聚合,实现软件日志的安全审计与故障恢复,达到了软件日志功能的有效性,可靠性与容错性.