基于Mongo DB的都江堰渠首水文数据库构建

在目前以大数据、人工智能技术为代表的信息化高度发展时代,如何借助现代高科技手段管理好水资源,是值得研究的课题。水文数据是水资源管理的基础,构建数据库利用好这些数据,将提升灌区供水管理能力和效率,对今后建设和发展智慧灌区、实现水资源精准调度发挥积极作用。因此,对都江堰灌区而言,构建都江堰渠首水文数据库十分有必要。目前,都江堰灌区水文数据虽早已实现了计算机存储,但存储的媒介Excel文件仅相当于简单的数据库,数据管理能力不及专业数据库软件。因此,构建都江堰渠首水文数据库包括数据从Excel文件中的采集与向数据库软件中添加两部分。

基于MongoDB的调查决策系统数据存储方案设计

之前绝大多数调查决策系统都采用传统的关系型数据库进行数据存储;现今大数据时代来临,各类非关系型的数据库开始崭露头角,并在应用中所占比重愈来愈大。Mongo DB就是其中的后起之秀。因此,尝试使用非关系型数据库Mongo DB来作为调查决策系统的数据存储是非常有现实意义的。该文为大家呈现基于Mongo DB这个面向文档的非关系型数据库来设计投票及所包含问题的数据存储,在详细介绍其内嵌和引用这两种解决方式基础上最终给出后台的数据存储方案。

基于MongoDB的前置通信平台大数据存储机制

为应对用电信息大数据存储和处理的挑战,构建了关系数据库与Mongo DB数据库混合存储的云存储架构。首先,根据用电数据存储容量和速率的需求,提出基于Mongo DB的前置通信平台大数据存储机制,并从数据存储、可用性、均衡策略和读写分离4个方面分析了其中的关键技术和优化机制。然后,针对目前Mongo DB数据均衡策略的不足,结合数据节点负载的差异,对均衡策略进行优化,实现了数据量和负载的动态均衡。前置通信平台的实践应用分析验证了基于Mongo DB的大数据存储机制具有高并发读写性能和良好的可行性。

MongoDB数据库下文件型数据存储研究

针对云计算和WEB2.0环境下不断增容的文件型数据,采用关系数据库和IIS文件系统存储二进制文档效果不理想,关系数据模型制约了存储服务对海量文件信息快速访问和存取的能力。建立非关系型文档数据库MongoDB数据存储和实验平台,将海量互联网文件数据以<key,value>方式存储结点中实现数据存储。实验表明,该存储系统在文件存储应用中具有较高的可靠性和吞吐性能,易于扩展和开发,为移动云计算中非结构化数据存储提供了一种思路。

基于MongoDB数据库的临床医疗大数据存储方案设计与优化

针对海量临床数据蕴藏的巨大价值难以有效挖掘的难题,将分散、破碎、异构的数据分为文档数据、二进制小文件和二进制大文件三类,并提出了一种适于数据挖掘的存储方案,该方案基于非关系型数据库Mongo DB实现了三类数据的一体化存储、统一规则访问及多样性查询、关联检索等功能。针对大文件直接访问造成系统性能不佳的问题,设计了一个由大文件各类关键特征信息组成的特征库,通过特征库的应用减少了大文件的直接访问。

基于MongoDB的蛋白质组学大数据存储系统设计

蛋白质组学质谱数据具有关系复杂、数据量大、查询方式多样等一系列的特点。在研究蛋白质组学质谱数据时,传统的存储系统一般采用文件和关系型数据库存储数据,往往需要预定义数据表结构,难以实现动态增加多样化蛋白质组信息的功能。此外,关系型数据库的集群架构关系复杂,维护成本高,代码处理也复杂。为解决传统存储系统在海量蛋白质组学数据的存储和访问的效率瓶颈问题,应用No SQL非关系型数据库,提出了一种基于Mongo DB分布式数据库存储结构的蛋白质组学数据存储系统设计方案。通过系统的功能测试、性能测试,结果表明,随着数据量和访问量的上升,Mongo DB显示出了更高的性能和更快的处理速度,该平台能够改善传统的文件存储和关系数据库存储所暴露的部分性能问题。

基于MongoDB的社区论坛设计与研究

现有基于SQL数据库设计社区论坛在面对海量数据和大量并发用户访问时显得力不从心,使用一种全新的架构解决此问题变得迫在眉睫。该文研究了基于MongoDB的社区论坛,采用NoSQL文档型数据库作为数据库存储数据,实现了论坛所具备的发帖、留言、用户管理等基本功能,在处理海量数据和大量访问时论坛性能表现良好。

支持MongoDB的事务管理方案研究

MongoDB作为一个基于分布式文件存储的数据库,强大的单表查询语言,以及可扩展的高性能数据存储受很用户喜爱,但其没有对事务的完全支持,使得用户对MongoDB的使用处于被动状态.为改善MongoDB对事务管理方面的兼容性,提出一种支持MongoDB事务管理,完善MongoDB功能的方案.利用MQ与守护进程间的消息通信,使守护进程对事务提交或者回滚后的脏数据进行清理,保证了MongoDB在事务管理方面的可用性与安全性.

基于传感网的煤矿瓦斯监测数据发布系统关键技术

针对传统工业以太网在煤矿瓦斯监测异构传感器资源整合方面的弱势以及OGC传感器网络框架在异构传感器资源整合、协同监测、快速响应上的优势,设计了一种基于传感网的煤矿瓦斯监测数据发布系统,详细阐述了基于传感网的监测数据接入技术以及基于Mongo DB的数据存储技术,并成功应用到王家岭煤矿中。应用结果表明,传感网服务技术打破了传统以太网低效工作模式,提供了井下协同观测的可能性;采用No SQL存储技术实现了传感网监测数据的实时接入、海量存储、高效检索与动态管理,为未来的智慧矿山建设奠定了基础。

面向Agent的信念修正的系统模型

提出一种面向Agent个体的信念修正系统模型。采用资源有限性Agent的定义及其相应的信念修正实现方法,保证系统的处理效率;利用MongoDB分布式文档存储的特点和数据存储格式BSON在数据传输上的通用性,提高系统在存储方面的可扩展性和信念存储的完整性与操作效率。为更好地规范Agent之间通信数据的格式并增强Agent与Web应用数据传输上的兼容性,整合现有的Agent通信语言的语义和JSON在数据规范上的特点,提出一种Agent通信语言JSONACL。实例验证与分析结果表明,该模型在处理较大信念集的情况时表现良好,为信念修正提供了一种可视化表现形式。

滇池流域非点源污染文档型时空数据模型的研究与应用

针对滇池流域非点源污染应急响应、模拟及数据挖掘过程中,现有的基于关系数据库建立的时空数据模型进行了分析并指出其不足,提出了基于Mongo DB及面向对象时空数据模型改进的文档型时空数据模型,以有效组织、存储与管理非点源数据;最后设计了滇池流域非点源污染时空数据管理系统,实现不同来源、格式数据的导入导出、编辑、索引及高级运算功能。试验证明,系统在存储、管理和维护海量时空数据等方面得到了提升,能为滇池流域非点源污染时空过程数据的模拟以及大数据挖掘提供统一的访问接口和数据支撑。

小规模水电站坝体远程无线监控系统设计

为解决我国早期修建的一些小规模水电站坝体因设施陈旧、监测水平低、监控不到位而存在的安全隐患,基于现代通信技术,设计了一种小规模水电站坝体远程无线监控系统,用于检测水电站坝体水压、坝体附近的水温、水位以及坝体缝隙中的渗透压。详细介绍了基于ZigBee技术的无线传感器网络节点的软硬件设计方法。考虑到大数据时代需要与其他非关系型数据库系统进行统一管理,设计了可以运行于云服务器的数据库虚拟化管理平台。测试结果表明,系统结构设计合理,能够有效监测水电站坝体安全状态,可以推广到大规模水电站远程监控中。

基于布隆过滤器的海量数据查询技术的优化与应用

通过一个用户行为数据分析的案例,说明了布隆过滤器的原理和应用场景。在案例中,需要使用MapReduce框架在海量数据中筛选出付费用户相关的数据,布隆过滤器算法提供了一种快速、有效的实现方法。简述了使用MongoDB内存数据库存储付费用户的解决方案,其搜索效率高,但随着数据量的增加,一对多并发查询给服务端带来的压力会越来越大;如果使用分布式缓存的方法,这时为一对一存取,带来的问题是占用内存增大,如果数据结构选择HashSet,存入量大时,则容易使堆内存溢出,故考虑使用自定义数据结构:布隆过滤器,对其原理和误判率进行了分析,并针对其可能产生的错误数据("假阳性")提出消除方案,经实验验证,布隆过滤器占用内存低、查找效率高,解决本类问题极为合适。

一种基于NoSQL的地图瓦片数据存储技术

本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差异。研究结果表明,Mongo DB在海量空间数据存储与并发访问方面具有明显的高效性。