Caché数据库中数据的存储及其查询优化

Caché数据库的多维数据模型可以存储丰富的数据,在处理复杂的医疗数据时减少了表连接等处理过程,从而使多维数组能更快地存取数据。与主流的Oracle和SQL server等关系型数库相比,Caché主要在其存储结构上有很大的不同,Caché主要是以Global的形式存储数据,依据M语言开发应用程序。首先,介绍了Caché数据库中数据的存储形式;然后,展示了在医院HIS系统应用过程中Caché数据库中数据查询的几种方式及应用场合;最后,总结Caché数据库中SQL优化的几种办法。结果表明,Caché数据库具有更高的灵活性,适用于多种应用场合,而且在采用优化的查询方案后查询效率提高了很多倍。

基于可编辑区块链的农产品供应链追溯高效存储查询模型

基于区块链的农产品追溯系统可有效解决农产品追溯的信任问题。然而,区块链的不可篡改性和全冗余存储导致了区块链节点存储数据量的持续增加,提高了区块链设备的门槛,限制了农产品区块链追溯系统的大规模落地应用。针对农产品区块链追溯系统的高存储量问题,该研究提出了一种基于可编辑区块链的农产品供应链追溯高效存储查询模型。首先,针对农产品追溯数据的周期特性,总结了农产品供应链追溯信息生命周期。其次,通过卸载超出生命周期的追溯数据降低数据存储量,研究农产品可编辑区块链存储模型。最后,通过计数布隆过滤器降低了农产品可编辑区块链数据卸载后假阳率高的问题,提高了农产品可编辑区块链追溯系统的查询效率。试验结果表明,在系统运行60个月时,模型的存储量为传统农产品区块链追溯系统的48.70%。当区块数据量为1 000条,数据卸载量为30%时,模型的假阳率较传统模型下降了21个百分点,数据查询效率提高了19.02%。该研究为农产品区块链追溯系统的规模化落地应用提供了解决方案。

空管时空数据分布式存储与快速查询

针对空管监视等海量时空数据因缺乏有效的分布式存储模型,而无法有效支持快速检索查询的问题,首先,引入空间编码S2,建立空管监视分布式存储模型(PS2⁃HBase);然后,优化了时空多边形查询和K近邻(KNN)查询算法策略,搭建了空管时空数据分布式存储和查询系统原型;最后,在真实数据集中进行了试验,并与传统ST⁃Hash方法进行了对比。试验结果表明,该方法在2种查询情况下要优于ST⁃Hash策略。

基于区块链的农产品追溯系统信息存储模型与查询方法

针对区块链追溯系统信息数据存储负载过大、查询效率低等问题,该文以果蔬菜类农产品为例,基于Hyperledger Fabric设计了一种区块链农产品追溯信息存储模型和查询方法。提出"数据库+区块链"的链上链下追溯信息双存储设计,本地数据库存储追溯明文数据,区块链上存储追溯数据加密后的哈希值,并在此基础上建立了外联数据库索引的查询方法。通过该方法与基于key键遍历查询和批次号字段查询的2种传统区块链数据查询方法进行对比测试,结果表明当区块链追溯记录总量达到11×10~4条,批次追溯记录条数为400时,该方法查询效率分别提高了70.56%和88.66%,有效解决了区块链链式结构中数据查询效率低的问题,保证了数据隐私安全,提高了追溯信息的可靠性与时效性。

网页搜索引擎查询日志的Session划分研究

搜索引擎查询日志中的session(以下简称session)是指某特定用户为得到某个信息需求而在一段时间内的搜索行为的连续序列。Session的正确划分是进行用户搜索行为分析等一系列工作的重要基础,目前尚没有关于session的系统研究工作。本文针对相关研究工作的问题重新统一定义了session的概念并进行探索和比较研究,得出结论:(1)统计语言模型因数据稀疏问题不适合做session划分;(2)利用多种属性的决策树方法可以得到比较理想的结果,以session为单位进行评价,F值达到了78.6%。

无线传感器网络中一种实时高效的数据存储和查询方法

集中研究了非结构化的数据存储和查询。为了在保证查询成功率的同时最小化总的能耗,分别在存储受限和不受限两种情况下,建立了MESQ(minimizing energy on success fulquery)优化问题模型,给出并证明了最优的复本和查询个数。在此基础上,还设计了一个实用的分布式数据分发算法:BubbleGeocast,其主要包含精确自适应快速分发和基于拒绝的均匀分发两个部分,其中前者用自适应分支的方法加速数据扩散,并精确控制总的复本个数;后者根据每个节点Voronoi单元面积,决定是否接受或拒绝这个报文。从而保证了复本和查询分发的精确性、实时性、均匀性、顽健性。最后,详细的理论分析和模拟实验进一步验证了其性能。分析和实验表明,同已有工作相比,在相同查询成功率时,BubbleGeocast能量有效性平均提高了约30%,复本分发的延迟平均缩短了约30%,成功查询的延迟平均缩短了约50%。

物联网环境中数据存储与查询机制研究

物联网中存在射频识别设备、传感器、智能嵌入设备等数目众多的异质设备,运行着用于标识、感知、处理和传送信息的各类服务,因而存在大量、非连续且时间敏感的数据。这类数据对保证物联网产业链的正常运转非常重要,但现有的数据管理方法不能有效解决其存储与查询问题。基于此,针对物联网数据多维、多态的特征,在面向服务的物联网数据管理框架上,以都柏林元数据标准为基础,制定了支持学习的物联网数据多级元数据标准。设计了从XML元数据描述到关系数据库存储的数据处理流程,提出了优化的数据存储与查询方案。最后对提出的存储与查询方案进行了验证。

基于混合映射的XML数据的关系存储和查询

XML数据关系存储有很多优点,但必须将XML的树型结构映射为关系表的二维表结构,以基于结构的映射方法为基础,根据XML数据和查询的特点,结合纯XML查询的优点,提出使用混合映射来解决XML数据的存储问题,即文本和枚举仍保留为XML文档,其他部分映射为关系数据.

云存储中支持失效文件快速查询的批量审计方法

云存储服务中,批量审计是高效验证云端数据完整性的关键技术.批量审计容易遭受"失效文件"攻击,并且查询失效文件代价高、速度慢,严重影响着批量审计方案的可用性和效率.针对该问题,提出一种支持失效文件快速查询的批量审计方法,该方法通过建立批量审计过程的关联性,改变了二分查询树中右孩子节点的计算方式,减少了整个查找过程的批量审计次数;并在批量审计过程中执行幂指测试,通过一次审计就可完成含有单个失效文件的子树查找过程,有效缩短了子树的查找长度;采用混合型查询方法,根据历史查询信息设置幂指测试的深度,降低了"失效文件聚集处"的查询开销.安全分析和性能表明,该方法能够快速完成失效文件定位,有效抵抗"失效文件"攻击,保证了批量审计方案的可用性和效率.在少量文件失效的情景下,相较于简单二分查找方法,文中方法耗费的批量审计次数减少了30%.

基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。

XML模式、查询和存储技术扫描

本文对当前研究与应用的XML模式语言/代数、XML查询语言/代数以及XML存储技术的历史和现状进行了简要的介绍,其中分别就模式、查询和存储给出了具有典型性的几个例子,最后,给出了我们对一些问题的看法。

基于NoSQL的RDF数据存储与查询技术综述

随着语义网的发展和RDF(resource description framework,资源描述框架)数据量的快速增长,利用NoSQL数据库存储和管理大规模RDF数据已经成为了当前的研究热点。介绍了No SQL数据库的种类划分和各类型特点,阐述了RDF数据在各类No SQL数据库中存储结构设计和并行查询算法的研究现状,分析比较了不同方法的优缺点。最后,讨论了利用No SQL数据库管理RDF的优势,总结了现有研究的不足之处,并展望了未来的研究方向。

海量数据的存储与高速查询方案设计与研究

本文阐述了实现海量数据的可靠存储及高速查询的理论基础,以银行系统为例给出了具体实现方案,光纤通道等设备的出现将存储领域推向了网络化的新阶段,这种技术的应用将给我们的生活带来极大的方便,提高工作效率。

典型区块链存储与查询技术综述

区块链系统可以作为一种新型分布式数据库系统,适用于医疗、政务、教育等众多领域。然而,目前区块链自身存在着节点存储压力大、存取效率低、查询单一化等问题,限制了区块链应用的发展。为探明以上问题的原因以及找到合适的优化方法,选取比特币、以太坊、Hyperledger Fabric、FISCO BCOS四个在数据存储与查询方面极具代表性的区块链系统,对其在数据存储及查询处理机制上进行总结、分析。在此基础上,归纳了现有区块链系统存储、查询方面存在的常见问题,总结了现有区块链存储与查询技术的优化方法,并对未来主要研究问题进行展望。

半结构数据的存储模型和查询执行

1引言 半结构数据是指区别于语音和图像文件等"原始数据",具有一定程度的结构,又不像传统的数据库系统那样存在严格模式的数据[1.2].半结构数据广泛存在于各种电子数据源,特别是Internet当中.以WWW为例,其HTML文件格式本身就是由标签和锚点等结构单元组成的,因此文件中的数据常常具有明显的结构.但同时效据的结构又非常不规范,不符合传统效据库的要求,因此不能简单地应用现有的数据库技术和工具对其进行处理,需要研究和开发对半结构数据进行描述和处理的新技术、新工具.

适用于范围查询的列存储数据桶划分算法

范围查询是数据库中一项重要的操作.列存储数据库中,能否有效查找一个范围内的属性值,获取对应的行号集合,将极大影响元组重构的效率.与树型结构相比,Hash表对数据的精确查找具有更高的效率,但是范围查找的效率比较低.针对这种情况,提出了一种改进的可用于范围查询的数据桶划分算法.为了能够更好地对算法进行描述,首先提出了可用于范围查询的Hash存储模型(rangedHash,RH),并给出了桶的值域和序列化的定义.其次针对列存储等"读优先"特性,在RH模型的基础上,提出一种改进的桶划分算法.该算法生成可序列化的哈希函数把属性值划分到桶中,能够同时提高属性值的范围查询效率和存储效率.最后,通过实验结果验证算法的有效性.

基于XML的汽车零部件网站数据存储与查询的实现

以一个汽车零部件网站为例 ,介绍了基于XML的数据存储 ,结合关系数据库、MSXML提供的JAVA类等工具 。

列存储数据查询中的连接策略选择方法

列的连接策略优化是列存储数据查询中的重要问题。现有的列存储系统中,列的连接存在策略单一,缺少优化处理,无法满足复杂查询等缺陷。针对这些问题,提出一种连接策略选择方法。该方法首先定义简单规则过滤代价过大的查询计划,生成候选查询计划树。进而根据动态Huffman树原理提出动态优化树算法,对候选查询计划树中的查询执行顺序进行改进。根据列存储数据的特点,候选计划中每个连接节点的执行策略被归纳为两种:串行连接和并行连接。在此基础上构建代价估计模型,集中针对这两种连接策略进行代价估计和策略选择,从而以较小的时间复杂度获得优化的查询执行策略。

列存储数据查询中的连接策略优化方法

列存储数据查询优化的重点是列的连接策略.现有的列存储系统通过存储的改变来简化列的连接,致使列的连接缺少查询优化处理,策略单一且无法满足复杂查询.在剖析现有连接选择策略的基础上,提出一种新的连接策略优化方法,即首先利用基于规则的优化方法为列存储数据查询制定优化规则,过滤不可能产生最优计划的候选计划;然后设计了基于代价的优化算法,根据动态Huffman树和左深连接树原理对查询执行顺序进行改进,进一步减少候选计划的规模;根据列存储数据的特点将候选计划中每个连接节点的执行策略归纳为串行连接和并行连接两类,并在此基础上提出代价估计模型,进而可针对这两种连接策略进行代价估计和策略选择.最后在SSB数据集上通过实验证明了方法在列存储数据查询中的有效性.

一种多媒体数据存储、查询、检索的新方法

本文首先分析了多媒体数据给数据库系统的存储、查询、检索带来的问题。然后在分析基于表示和基于内容方法的优缺点的基础上 ,提出了一种适合多媒体数据检索和查询并且能较好地解决存储问题的联合关键字法 ,给出了它的操作规则及录入和查询操作步骤 。