基于NoSQL数据库的高密度数据采集系统设计

针对目前大部分工矿企业都在数字化转型,数字化后的安全生产监控数据具有实时性强,数据体量庞大等特点,部分系统的数据量如钢丝绳探伤系统每秒钟高达几十万条,常用的SQL数据库已经无法胜任如此庞大的数据存储、分析任务。研究通过NoSQL数据库、负载均衡、多线程、SOCKET等技术体系,构建基于NoSQL的具备高并发、高密度数据处理能力的高密度数据采集系统;实现工矿企业安全生产相关数据的高密度接入,满足高密度数据采样周期的硬性需求。

基于NOSQL的更年期妇女健康管理系统的设计与实现

本文为实现更年期妇女健康的信息化管理,基于NOSQL数据库设计并实现更年期妇女健康管理系统,实现了对更年期妇女健康的闭环管理,提升更年期妇女健康管理水平与服务质量。

基于NoSQL数据库的AIS航线设计研究

船舶运输需要充分考虑安全性和经济性,合适的航线能够为船舶安全运输提供有效保证,传统依靠纸质海图和电子海图的航线设计存在实时性不强、精度不够等问题。本文提出一种基于NoSQL数据库和AIS数据的航线自动设计方法,对其中的关键技术进行了研究,包括航线自动规划技术路线、NoSQL数据预处理以及航线自动规划方法。在航线自动规划方法中,设计了基于AIS的航线自动规划流程,使用DBSCAN算法对航迹数据进行了聚类分析。本文的研究成果可以为船舶航线自动规划提供有效辅助。

NoSQL数据库技术在船舶AIS数据系统的应用

为了发现潜在的危险,减少事故的发生,精准有效地预测船舶的运动轨迹十分重要。船舶运动轨迹预测方面的研究,主要以神经网络为主并融合一些混合算法。本文系统后端使用Spring Boot进行架构,吸收微服务思想,采用多种NoSQL现代数据库(MongoDB为主)作为持久化工具,用船舶自动识别系统(AIS)数据集训练模型,来验证LSTM相比于其他神经网络在船舶轨迹预测方面的有效性和准确性。NoSQL能够对数据进行良好的管理,并在管理对象数据的基础上增加数据分析、数据导出、数据异常处理措施。

大数据背景下的NoSQL数据库课程建设

随着大数据时代的到来,传统关系型数据库面临着诸多挑战,如数据规模的爆炸性增长、数据类型的多样性以及高并发的应用需求等。为了解决这些问题,NoSQL数据库应运而生,并逐渐成为大数据领域的重要组成部分。基于此,探究如何建设一门有效的NoSQL数据库课程,以培养学生在大数据环境下运用NoSQL数据库解决实际问题的能力。

基于大数据背景的NoSQL数据库技术分析

随着数据量日益增长,传统的数据库技术已经无法满足大规模数据处理的需求。文章旨在分析大数据背景下的数据库技术,Neo4j作为一种基于图的数据模型,是NoSQL非关系数据库的子类别,广泛应用于知识图谱和推荐系统。首先,文章讨论了大数据的特征、存储与访问机制,以及非结构化数据的来源和结构。其次,根据数据的存储机制,介绍了基于文档存储、列存储、键值存储和图形存储的四类NoSQL非关系数据库。进一步分析了Neo4j图数据库的查询和操作语法、知识表示、推理过程。在大数据背景下,Neo4j图数据库具有良好的弹性可扩展性、灵活的数据模式、高性能和低延迟等显著优势,为业务决策提供了洞察和智能支持。

支持大数据管理的NoSQL系统研究综述

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望.

基于NoSQL数据库的农田物联网云存储系统设计与实现

为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。

基于NoSQL数据库的大数据查询技术的研究与应用

基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库。基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程。通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈。

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。

基于向量时钟模型的NoSQL最终一致性的研究

最终一致性作为衡量NoSQL数据库性能的重要指标,对NoSQL的应用与发展起着重要作用。针对最终一致性解决方案存在的问题,提出基于向量时钟的最终一致性模型。模型为数据加入了版本的概念,通过版本向量和时间戳的引入,为数据标识了版本信息,同时给出了冲突检测和处理方案。对比分析表明,方案很好地解决了问题,提高了最终一致性的性能,在NoSQL数据库的设计过程中具有较好的应用价值。

大规模装备监测数据的NoSQL存储方案

面向大规模机械装备监测数据管理中遇到的海量数据存储、快速读写响应、大规模数据分析等难题,提出使用基于NoSQL(Not only SQL)的LaUD-MS系统进行监测数据管理的存储架构。设计一种多列族自由表模型,并通过理论和实验对其读写性能进行分析对比,证明了本存储方案能够解决海量监测数据的存储难题,并满足面向维护、维修和大修服务的查询需求。

基于NoSQL的大数据应用设计与性能保障方案研究

在云计算和大数据的应用背景下,NoSQL数据库技术逐渐得到应用。以一个海量文档分享平台需求为应用实例,探讨基于NoSQL数据库技术的大数据应用设计相关的数据持久化和访问的性能保障方案,特别是涉及以数据存储为中心的效率优化问题。对实例原型系统进行测试,验证了CRUD操作性能获得明显改善,特别体现在查询和插入方面,实验结果说明所提出的方案具有较好的可行性和高效性。

基于NoSQL的RDF数据存储与查询技术综述

随着语义网的发展和RDF(resource description framework,资源描述框架)数据量的快速增长,利用NoSQL数据库存储和管理大规模RDF数据已经成为了当前的研究热点。介绍了No SQL数据库的种类划分和各类型特点,阐述了RDF数据在各类No SQL数据库中存储结构设计和并行查询算法的研究现状,分析比较了不同方法的优缺点。最后,讨论了利用No SQL数据库管理RDF的优势,总结了现有研究的不足之处,并展望了未来的研究方向。

PDM中单一BOM数据源的NoSQL数据组织研究

物料清单(BOM)是产品数据管理(PDM)系统中最重要的基础数据,其逻辑数据组织呈现网状结构.现有PDM均采用关系型数据库(RDB)的二维表形式组织BOM数据,其访问事务受到ACID特性的束缚,且存在数据冗余度高、查询效率低等问题.以非关系型数据库(No SQL)作为底层数据管理系统,借鉴单一产品数据源(SSPD)的思想,从分析PDM中各类BOM数据的结构和逻辑联系出发,提出树形—原子聚合嵌套式BOM数据组织结构,在物理层完成单一数据源的BOM数据存储,减少查询时的表连接操作,加快查询速度,降低更新代价.

NoSQL数据库间数据交换代价研究

随着互联网时代的到来,IT行业迅猛发展,NoSQL数据库以其在大数据环境下出色的业务处理处理能力,在IT行业内得到越来越广泛的应用。而各NoSQL数据库由于自身数据模型的不同,在数据组织方式上彼此存在差异。NoSQL数据库间进行数据交换时,数据模型的不同会导致数据库间数据传输的阻抗,以源数据库数据模型封装的业务数据可能无法直接被目标数据库解析,需进行额外的模型适配操作,参照目标数据库数据模型组织业务数据以供筛选存储。为此,拟定义一种数据描述模型,对NoSQL数据库数据模型特征建模,描述NoSQL数据库的数据组织方式,并定义NoSQL数据库数据模型间距离评估算法。根据数据描述模型与距离评估算法可设计实现一种通用数据模型,其在数据交换过程中可与相关NoSQL数据库进行数据模型上的转换,系统相关业务代码只需参照该数据模型设计,而独立于数据交换过程中NoSQL数据库具体的数据模型。

基于本体和NoSQL的机械产品方案设计的知识表示与存储研究

在机械产品方案设计中涉及大量半结构化或者非结构化知识,现有的知识表示方式无法支撑设计知识的有效共享与重用,知识存储模式无法适应设计知识的复杂性特征。本文运用基于本体和NoSQL方法对机械产品方案设计知识和设计案例进行知识表示与存储,提出了基于FBS模型的机械产品方案设计本体构建方法,以及基于本体和NoSQL的机械产品方案设计存储模型。在此基础之上,以某机械产品为例,完成了本体构建和设计知识存储系统的构建,并与传统的关系型数据库的知识存储与查询系统进行了对比分析,实现了产品方案设计知识的语义化表示以及合理高效的存储,有效地支撑设计知识的共享与重用。

基于NoSQL的机载LiDAR海量点云数据分布式存储

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于HBase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。

基于NoSQL技术的心电数据库存储研究

本研究旨在围绕物联网、移动医疗和远程心脏疾病监控,研究心血管疾病大数据存储技术。采用非关系型数据库(NoSQL)技术和关系型数据库MySQL进行对比,设计基于MongoDB的心电数据库,解决心电大数据的存储问题。NoSQL技术对大数据的处理有优势也有劣势,在存储数据的时间和数据结构的灵活性方面,均优于关系型数据库,但是结构化的表结构在并发响应时间和存储空间上有一定优势。为后续进行心血管疾病预测,建立心血管疾病预测模型打下基础,解决心电数据存储带来的种种问题,也能为其它医疗大数据的存储提供参考。

NoSQL数据库与关系数据库的比较分析

介绍了两个具有代表性的NoSQL数据库:Bigtable和Dynamo系统。首先,描述了Bigtable和Dynamo的适用范围及其产生原因。Bigtable和Dynamo可以高效的处理web数据提供相应服务;然后,介绍了Bigtable和Dynamo系统的架构、特性等,以及各自独特的设计方法。最后,将这两个数据库与传统的关系数据库进行比较分析,描述了它们之间的不同点,对比结果表明NoSQL数据库在处理web应用数据时是高效可用的,比传统关系数据库更占优势。