基于binlog日志订阅的实时数据卸载方法研究与应用

为解决电信行业进行集中系统建设同时保证各省分公司对数据、业务进行个性化挖掘的需求,提出一种基于binlog日志订阅的实时数据卸载方法。解决集中系统建设与省分个性化系统搭建的耦合性问题,十分高效地实现业务数据的实时同步及相关信息的处理与分析。

基于气象大数据云平台的政务区数据同步技术研究

随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的数据同步,提升气象数据服务能力和信息化水平。依据气象数据的类型和特点,将其划分为一般结构化数据、特色结构化数据和非结构化数据三类,针对每类数据提出了相应的同步技术方案,构建了针对政务区数据同步的综合解决方案,并以山东省气象数据为例进行了实验分析。结果表明,所提方案具备高度可行性、有效性和安全性,可为政府决策提供强有力的数据支撑。

数据同步技术在气象大数据云平台对外服务中的应用

目前,气象大数据云平台仅服务于气象内网用户,为进一步拓展平台的对外服务能力,满足气象行业用户对海量气象数据存储与共享应用需求,基于分布式存储和数据服务接口等方面关键技术,在单向网络安全隔离区(Demilitarized Zone,DMZ)设计一套安全、高效的气象大数据存储和服务体系。针对结构化气象数据,研究设计一种优化的基于数据库Binlog的数据同步方法;针对非结构化气象数据,研究设计一种优化的基于数据库Binlog+ETL机制相结合的数据同步方法,实现气象内网大数据云平台和DMZ区数据环境间的海量气象数据实时秒级同步。本文方法解决了气象数据对行业用户服务数据量少、共享服务能力差、安全性低等问题。应用实践表明,该数据同步技术延时在秒级以内且数据一致性良好,确保了气象大数据云平台对外服务的实时性和准确性。

阳信洼陷沙一段生物泥页岩气成藏条件分析

生物泥页岩气是页岩气的重要类型，具有埋藏浅、面积大的特点。通过对阳信洼陷沙一段泥页岩沉积环境、构造背景、地化特征分析，认为沙一段烃源岩具备形成生物泥页岩气的有利条件。沙一段泥页岩为优质烃源岩，厚度大、分布面积广．烃源岩埋深1200～1800m、地层温度54．0～63．0℃为生物气的生烃高峰时期。沙一段具有快速沉积、成化湖盆的特征，为烃源岩的保存及生物泥页岩气的生成提供了有利沉积背景。烃源岩生成的生物泥页岩气在烃源岩内就近聚集，表现为典型的原地成藏模式。预测洼陷中部气测异常较大值区带是生物泥页岩气的有利发育区。

数据同步技术在气象大数据云平台中的应用

为满足山东省气象预报、公共服务等气象业务对海量气象数据访问需求和毫秒级响应的时效需求,基于数据库变更日志Binlog和分布式消息服务Kafka技术,在省级气象大数据云平台中设计了一套气象数据同步框架,并通过存储管理系统(SOD)进行策略配置,解决了原有CIMISS数据环境在规模和性能上的服务瓶颈。实践证明:基于Binlog+Kafka的气象数据同步效率可达110000条/s,耗时延迟毫秒级,有效支撑了全省气象业务系统对海量气象数据的时效需求。

基于开源关系数据库的CMS高可用容灾设计

本文叙述了基于Mysql全备份和binlog日志互补方式实现高负荷新闻发布系统自动化容灾备份的方法,在机房发生全局性故障的情况下,在最短时间内启用容灾机房备份系统进行后续发稿的业务要求。