基于分布式NoSQL的数字化档案检索系统设计

近年来,随着无纸化、数字化办公模式的推广应用,数字档案规模不断扩大,虽然在一定程度上降低了办公成本,但同样增加了档案检索难度。本文以此为切入点,提出基于分布式NoSQL技术的数字化档案检索系统设计方案,结合现阶段数字化档案的分布式存储方案,优化传统检索系统架构,提高数字化档案检索效率,实现数字化档案安全管理目标。

基于NoSQL数据库的高密度数据采集系统设计

针对目前大部分工矿企业都在数字化转型,数字化后的安全生产监控数据具有实时性强,数据体量庞大等特点,部分系统的数据量如钢丝绳探伤系统每秒钟高达几十万条,常用的SQL数据库已经无法胜任如此庞大的数据存储、分析任务。研究通过NoSQL数据库、负载均衡、多线程、SOCKET等技术体系,构建基于NoSQL的具备高并发、高密度数据处理能力的高密度数据采集系统;实现工矿企业安全生产相关数据的高密度接入,满足高密度数据采样周期的硬性需求。

基于NoSQL数据库的AIS航线设计研究

船舶运输需要充分考虑安全性和经济性,合适的航线能够为船舶安全运输提供有效保证,传统依靠纸质海图和电子海图的航线设计存在实时性不强、精度不够等问题。本文提出一种基于NoSQL数据库和AIS数据的航线自动设计方法,对其中的关键技术进行了研究,包括航线自动规划技术路线、NoSQL数据预处理以及航线自动规划方法。在航线自动规划方法中,设计了基于AIS的航线自动规划流程,使用DBSCAN算法对航迹数据进行了聚类分析。本文的研究成果可以为船舶航线自动规划提供有效辅助。

NoSQL数据库技术在船舶AIS数据系统的应用

为了发现潜在的危险,减少事故的发生,精准有效地预测船舶的运动轨迹十分重要。船舶运动轨迹预测方面的研究,主要以神经网络为主并融合一些混合算法。本文系统后端使用Spring Boot进行架构,吸收微服务思想,采用多种NoSQL现代数据库(MongoDB为主)作为持久化工具,用船舶自动识别系统(AIS)数据集训练模型,来验证LSTM相比于其他神经网络在船舶轨迹预测方面的有效性和准确性。NoSQL能够对数据进行良好的管理,并在管理对象数据的基础上增加数据分析、数据导出、数据异常处理措施。

大数据背景下的NoSQL数据库课程建设

随着大数据时代的到来,传统关系型数据库面临着诸多挑战,如数据规模的爆炸性增长、数据类型的多样性以及高并发的应用需求等。为了解决这些问题,NoSQL数据库应运而生,并逐渐成为大数据领域的重要组成部分。基于此,探究如何建设一门有效的NoSQL数据库课程,以培养学生在大数据环境下运用NoSQL数据库解决实际问题的能力。

支持大数据管理的NoSQL系统研究综述

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望.

基于NoSQL数据库的农田物联网云存储系统设计与实现

为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。

基于NoSQL数据库的大数据查询技术的研究与应用

基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型。对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库。基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程。通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈。

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。

基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型(NoSQL:Not only SQL)数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQL Server在地学大数据的存储、查询等方面进行了性能对比。结果表明,与传统关系型数据库相比,NoSQL数据库的增、删和查询耗时明显降低,尤其是针对海量的非结构化、半结构化数据,其性能优势更加明显。

基于向量时钟模型的NoSQL最终一致性的研究

最终一致性作为衡量NoSQL数据库性能的重要指标,对NoSQL的应用与发展起着重要作用。针对最终一致性解决方案存在的问题,提出基于向量时钟的最终一致性模型。模型为数据加入了版本的概念,通过版本向量和时间戳的引入,为数据标识了版本信息,同时给出了冲突检测和处理方案。对比分析表明,方案很好地解决了问题,提高了最终一致性的性能,在NoSQL数据库的设计过程中具有较好的应用价值。

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。

基于NoSQL的大数据应用设计与性能保障方案研究

在云计算和大数据的应用背景下,NoSQL数据库技术逐渐得到应用。以一个海量文档分享平台需求为应用实例,探讨基于NoSQL数据库技术的大数据应用设计相关的数据持久化和访问的性能保障方案,特别是涉及以数据存储为中心的效率优化问题。对实例原型系统进行测试,验证了CRUD操作性能获得明显改善,特别体现在查询和插入方面,实验结果说明所提出的方案具有较好的可行性和高效性。

NoSQL数据库间数据交换代价研究

随着互联网时代的到来,IT行业迅猛发展,NoSQL数据库以其在大数据环境下出色的业务处理处理能力,在IT行业内得到越来越广泛的应用。而各NoSQL数据库由于自身数据模型的不同,在数据组织方式上彼此存在差异。NoSQL数据库间进行数据交换时,数据模型的不同会导致数据库间数据传输的阻抗,以源数据库数据模型封装的业务数据可能无法直接被目标数据库解析,需进行额外的模型适配操作,参照目标数据库数据模型组织业务数据以供筛选存储。为此,拟定义一种数据描述模型,对NoSQL数据库数据模型特征建模,描述NoSQL数据库的数据组织方式,并定义NoSQL数据库数据模型间距离评估算法。根据数据描述模型与距离评估算法可设计实现一种通用数据模型,其在数据交换过程中可与相关NoSQL数据库进行数据模型上的转换,系统相关业务代码只需参照该数据模型设计,而独立于数据交换过程中NoSQL数据库具体的数据模型。

PDM中单一BOM数据源的NoSQL数据组织研究

物料清单(BOM)是产品数据管理(PDM)系统中最重要的基础数据,其逻辑数据组织呈现网状结构.现有PDM均采用关系型数据库(RDB)的二维表形式组织BOM数据,其访问事务受到ACID特性的束缚,且存在数据冗余度高、查询效率低等问题.以非关系型数据库(No SQL)作为底层数据管理系统,借鉴单一产品数据源(SSPD)的思想,从分析PDM中各类BOM数据的结构和逻辑联系出发,提出树形—原子聚合嵌套式BOM数据组织结构,在物理层完成单一数据源的BOM数据存储,减少查询时的表连接操作,加快查询速度,降低更新代价.

基于本体和NoSQL的机械产品方案设计的知识表示与存储研究

在机械产品方案设计中涉及大量半结构化或者非结构化知识,现有的知识表示方式无法支撑设计知识的有效共享与重用,知识存储模式无法适应设计知识的复杂性特征。本文运用基于本体和NoSQL方法对机械产品方案设计知识和设计案例进行知识表示与存储,提出了基于FBS模型的机械产品方案设计本体构建方法,以及基于本体和NoSQL的机械产品方案设计存储模型。在此基础之上,以某机械产品为例,完成了本体构建和设计知识存储系统的构建,并与传统的关系型数据库的知识存储与查询系统进行了对比分析,实现了产品方案设计知识的语义化表示以及合理高效的存储,有效地支撑设计知识的共享与重用。

基于NoSQL的机载LiDAR海量点云数据分布式存储

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于HBase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。

NoSQL数据库与关系数据库的比较分析

介绍了两个具有代表性的NoSQL数据库:Bigtable和Dynamo系统。首先,描述了Bigtable和Dynamo的适用范围及其产生原因。Bigtable和Dynamo可以高效的处理web数据提供相应服务;然后,介绍了Bigtable和Dynamo系统的架构、特性等,以及各自独特的设计方法。最后,将这两个数据库与传统的关系数据库进行比较分析,描述了它们之间的不同点,对比结果表明NoSQL数据库在处理web应用数据时是高效可用的,比传统关系数据库更占优势。