基于MongoDB分片集群的海量数据存储设计

本文基于MongoDB分片复制集群解决海量卫星影像数据的存储问题,分析自动分片技术;搭建3节点的分片复制集群,配置自动分片策略,对分片集群的插入性能和数据在分片的分布情况进行测试;并对分片集群的高可用和扩容性能进行测试;通过测试,MongoDB分片复制集群可通过扩展服务器实现卫星影像海量数据的安全高效存储。

mongodb分片集群方案设计和部署

mongodb已经是比较成熟的No SQL数据库产品,使用也比较普遍。搭建mongodb分片集群,mongodb企业版提供了OpsManager等辅助工具,实现了完整的自动化的部署、升级、监控、备份及恢复方案。相比之下,使用mongodb社区版来搭建分片集群需要一定的经验积累,本文整理了mongodb副本集的规则和特性,在实验环境中经过验证,力求更贴近实际,更具可读性和可操作性,并就搭建mongodb分片集群进行探讨,针对需要解决的问题、考虑的因素,设计出相应的方案,并对部署实践给出建议。

基于MongoDB云计算下GML分布式集群环境搭建研究

虽然大容量服务器可以解决普通的GIS数据存储问题,但随着数据量的增大,管理存储操作越来越难。在开源MongoDB分布式文件数据库支撑下,根据MongoDB对GML海量数据的存储理论,搭建海量GML数据集群环境,构成GML分布式云计算平台,为GML在服务器集群中实现存储查询索引管理提供性能支持。

科技冬奥“8K数字编辑制作系统示范平台”集群转码/合成研究与应用

本文以集群转码/合成在8K数字编辑制作系统示范平台的应用为例,主要介绍在8K超高清集群编辑系统中使用的分片集群转码/合成技术方案。本方案通过集群分布式对象存储、分片转码/合成技术以及临时文件快速拼接技术,大幅提高8K数字编辑制作系统转码性能,达到平台示范应用的目的。

中国机车远程监测与诊断系统(CMD系统)后台数据处理技术

中国机车远程监测与诊断系统(CMD系统)后台处理系统接收机车数据,通过转储与解析程序将处理后的数据存储至数据库服务器,并对数据和故障进行分析,是CMD系统不可或缺的部分,为整个系统提供强有力的数据支撑。结合CMD系统,从实践使用角度出发,对其后台数据处理技术的应用进行探讨。

非关系型数据库负载均衡策略研究

通过分析存量数据发现,业务系统中维护的除了结构化数据还有大量的非结构化数据,而非关系型数据库可以合理有效地管理这些非结构化数据。作者研究发现,在非关系型数据库的分片集群下,传统的基于Chunk迁移的负载均衡策略只能保证集群所存储的数据均匀地分布到各个分片节点,并没有考虑各个分片节点上的数据访问热度是否均衡,因此会导致业务系统无法有效突破数据读写的性能瓶颈。针对这一问题,本文引入了马尔科夫链,提出了一种基于马尔科夫链预测模型的负载均衡策略,并与传统的基于Chunk迁移的负载均衡策略进行了对比实验。