基于MongoDB的前置通信平台大数据存储机制

为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4个方面分析了其中的关键技术和优化机制。然后,针对目前Mongo DB数据均衡策略的不足,结合数据节点负载的差异,对均衡策略进行优化,实现了数据量和负载的动态均衡。前置通信平台的实践应用分析验证了基于Mongo DB的大数据存储机制具有高并发读写性能和良好的可行性。

基于MongoDB的分布式地质灾害数据存储策略

根据地质灾害数据数据量大,更新速度快,种类多样等特点,提出Mongo DB分布式存储策略。探讨了基于Mongo DB的分布式地质灾害数据存储策略。为解决地质灾害相关数据存取的性能、管理等问题提供了一个思路。

电网图形数据管理MongoDB数据库的应用

国家电网公司正推进资产全寿命周期管理体系建设,电网GIS图形作为电网的信息化表征,为了实现电网异动信息的全过程管理,通过电网图形多时态多级管理机制,同时引入Mongo DB非关系型数据库,提升了数据读写效率,最终满足电网各业务部门海量数据信息化应用的性能需求.

中医电子病历大数据服务平台设计与研究

通过对中医电子病历大数据服务平台的功能、技术和安全需求进行分析,设计出多层次的中医电子病历大数据服务平台,该平台具有数据采集、数据共享存储、数据分析、保证数据安全的功能,能够为个体化医疗与精准医疗、方药知识发现、治未病、个体化疗效评价等方面提供便利,在保证中医特色和数据安全的前提下,实现中医电子病历核心数据的开放、共享、分析与应用。

基于MongoDB的Web信息采集系统应用研究

在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题。文章首先分析如何将Web日志存储到MongDB中,然后将其直接内置到MapReduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试。测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息。

基于开源GIS的城市非点源污染负荷模拟研究

随着点源污染不断得到控制,非点源污染在城市水污染中所占的比重逐步增大,通过建立城市非点源污染负荷模拟系统,可以从空间上了解城市非点源污染产生和扩散过程,为治理非点源污染提供数据依据。该研究在借鉴目前城市非点源污染模型与GIS集成应用的基础上,针对商业GIS组件开发成本较高、开放性较差、开发灵活性较弱以及SWMM模型本身空间分析能力弱和空间可视化表达效果差等问题,借助开源GIS组件DotSpatial和MongoDB数据库,实现GIS与SWMM模型的紧密集成,并以MongoDB数据库为数据交互中心管理模型数据,开发出具有开发出低成本、扩展性强、高开放、灵活度高等特点的城市非点源污染负荷模拟系统。该研究选择昆明市东风东路片区作为研究区域,并用实测降雨数据进行模拟分析,结果表明系统具有良好的实用性。

分布式数据库聚合计算性能优化

针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通过研究分布式数据库的索引效率,利用删除查询字段索引的方法进一步提升计算性能,该方法能充分利用硬件资源提高聚合计算的性能。实验结果表明,采用高基数粒度的分片片键能够让数据在集群上均匀地分布在各个数据节点上,而舍弃索引使用全表查询能够有效提高聚合计算的速度,聚合计算优化方法能够有效提高聚合计算的性能。

一种基于ANTLR的MongoDB数据库SQL转化模型

作为非关系型数据的典型存储和管理模型,NoSQL(not only structured query language)技术随着大数据发展浪潮已成为研究热点之一。通过对著名NoSQL数据库MongoDB特点的分析,针对其缺乏SQL(structured query language)访问接口的不足,提出了一种基于ANTLR的MongoDB数据库SQL转化模型,并重点研究了该模型的分层构成、SQL解析、语义转换以及运行机制。基于该模型,设计开发了原型系统,对该模型的效果进行了验证,达到了预期的目标。这一研究成果的突出贡献在于,它可以使得软件开发人员对MongoDB数据库的学习曲线变得平坦,减少了编制程序的工作量,提高了软件的开发效率。

基于MongoDB的调查决策系统数据存储方案设计

之前绝大多数调查决策系统都采用传统的关系型数据库进行数据存储;现今大数据时代来临,各类非关系型的数据库开始崭露头角,并在应用中所占比重愈来愈大。Mongo DB就是其中的后起之秀。因此,尝试使用非关系型数据库Mongo DB来作为调查决策系统的数据存储是非常有现实意义的。该文为大家呈现基于Mongo DB这个面向文档的非关系型数据库来设计投票及所包含问题的数据存储,在详细介绍其内嵌和引用这两种解决方式基础上最终给出后台的数据存储方案。

基于MongoDB的蛋白质组学大数据存储系统设计

蛋白质组学质谱数据具有关系复杂、数据量大、查询方式多样等一系列的特点。在研究蛋白质组学质谱数据时,传统的存储系统一般采用文件和关系型数据库存储数据,往往需要预定义数据表结构,难以实现动态增加多样化蛋白质组信息的功能。此外,关系型数据库的集群架构关系复杂,维护成本高,代码处理也复杂。为解决传统存储系统在海量蛋白质组学数据的存储和访问的效率瓶颈问题,应用No SQL非关系型数据库,提出了一种基于Mongo DB分布式数据库存储结构的蛋白质组学数据存储系统设计方案。通过系统的功能测试、性能测试,结果表明,随着数据量和访问量的上升,Mongo DB显示出了更高的性能和更快的处理速度,该平台能够改善传统的文件存储和关系数据库存储所暴露的部分性能问题。

基于Scrapy的分布式爬虫系统的设计与实现

随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不可制定的搜索服务,而单机的网络爬虫又难当重任,因此可定制性强、信息采集速度快和规模大的分布式网络爬虫便应运而生.通过对原有Scrapy框架的学习和研究,将Scrapy和Redis结合改进原有的爬虫框架,设计并实现了一个基于Scrapy框架下的分布式网络爬虫系统,然后将从安居客、58同城、搜房等网站抓取的二手房信息存入MongoDB中,便于对数据进行进一步的处理和分析.结果表明基于Scrapy框架下的分布式网络爬虫系统同单机网络爬虫系统相比效率更高且更稳定.

基于MongoDB的信息集成系统的设计与实现

数据量急剧增长的同时,数据的存放也愈发分散,传统系统无法完成多源异构数据的集中存储与处理。针对该情况,文中设计并实现了一个基于MongoDB的多源信息集成系统。该系统通过数据集成将存放在不同地点的数据进行数据采集与转化,利用MongoDB集群分布式存储海量数据并提供统一检索,实现了数据的共享。最后,对系统进行了索引优化与性能实验。实践表明,系统具有灵活度高,扩展性好,容错性强等特点,具有较强的实用价值。

BEPC-Ⅱ新型数据存档软件系统设计

介绍了BEPC-Ⅱ新型数据存档软件系统的设计和实现。该系统设有以非关系型数据库MongoDB为平台的数据采集存储引擎和一套跨平台使用的查询绘图软件,用于对存档数据进行方便、快速的查询和图形化显示。实验测试结果表明该系统具有较好的写入效率和查询性能,能够实现BEPCⅡ或其他加速器系统运行实时数据的存档、查询、绘图等功能。

基于Mongo DB的众包数据索引方法探讨

服务于小城镇智慧规划管理的众包数据具有数据类型多样、数据量巨大的特点,必须建立合适的索引,才能满足快速检索和查询的需要。以面向文档型数据存储的开源数据库Mongo DB为基础,对基于Mongo DB的众包数据索引方法进行探索,分析了利用地理空间索引B+树、Geo Hash和多层次索引等进行众包数据索引的方法。

支持MongoDB的事务管理方案研究

MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB事务管理,完善MongoDB功能的方案.利用MQ与守护进程间的消息通信,使守护进程对事务提交或者回滚后的脏数据进行清理,保证了MongoDB在事务管理方面的可用性与安全性.

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.

基于Fabric的停车管理区块链系统

传统停车管理系统存在着停车收费数据不可靠、停车支付不便捷等问题,利用区块链技术防篡改和价值自动传递等特性,提出一种基于Fabric的停车管理区块链系统架构。围绕Mongo数据库、区块链与中间件和访问控制三个方面,对停车管理区块链系统关键技术进行研究设计,并针对用户注册、停车场注册/车辆注册、停车支付、充值/提现和读取交易凭证等关键业务流程进行分析。性能测试结果表明,该停车管理区块链系统能够实现停车场的有效运转。

面向Agent的信念修正的系统模型

提出一种面向Agent个体的信念修正系统模型。采用资源有限性Agent的定义及其相应的信念修正实现方法,保证系统的处理效率;利用MongoDB分布式文档存储的特点和数据存储格式BSON在数据传输上的通用性,提高系统在存储方面的可扩展性和信念存储的完整性与操作效率。为更好地规范Agent之间通信数据的格式并增强Agent与Web应用数据传输上的兼容性,整合现有的Agent通信语言的语义和JSON在数据规范上的特点,提出一种Agent通信语言JSONACL。实例验证与分析结果表明,该模型在处理较大信念集的情况时表现良好,为信念修正提供了一种可视化表现形式。

MongoDB数据库中自动分片技术应用研究

Mongo DB为了提高处理大数据量时的性能,提供了自动分片的技术。Mongo DB的分片是集合级别的,根据基于分区的片键可以将数据集合均匀的分布在各片上。文中在研究Mongo DB特点的基础上,着重分析自动分片技术的应用。对比普通和分片情况下的Mongo DB性能,提出使用基于分区的Mongo DB自动分片技术可以提高数据量较大时的性能,使Mongo DB更稳定。对比片索引和普通索引的性能,提出对于使用非常频繁的查询或写操作,应使用基于片键的索引,可以大幅度提高Mongo DB的性能。

基于Mongo DB的都江堰渠首水文数据库构建

在目前以大数据、人工智能技术为代表的信息化高度发展时代,如何借助现代高科技手段管理好水资源,是值得研究的课题。水文数据是水资源管理的基础,构建数据库利用好这些数据,将提升灌区供水管理能力和效率,对今后建设和发展智慧灌区、实现水资源精准调度发挥积极作用。因此,对都江堰灌区而言,构建都江堰渠首水文数据库十分有必要。目前,都江堰灌区水文数据虽早已实现了计算机存储,但存储的媒介Excel文件仅相当于简单的数据库,数据管理能力不及专业数据库软件。因此,构建都江堰渠首水文数据库包括数据从Excel文件中的采集与向数据库软件中添加两部分。