Web数据库上基于不均匀数据源的合并查询方法及优化

基于Internet上数据分布的特点,人们提出了合并查询(FusionQuery)的概念并且给出了相应的查询方案和相应的查询优化算法。但查询方案没有对数据量的分布情况加以考虑,这导致大量的冗余数据在各个数据源之间反复的传递,这样就大大地降低了方案的执行效率。目前多数研究集中于数据在均匀分布状态下的优化。但实际应用中数据多为不均匀分布,并且有很大的偏差。该文以此给出了在不均匀数据分布上的查询优化方案。并分析了其性能和比较。

P2P信息检索系统的查询结果排序与合并策略

基于P2P信息检索系统的特性,提出了一种完全分布式的查询结果排序与合并策略.首先分析当前P2P信息检索系统查询结果排序和合并问题的根源;接着提出一种完全分布式的查询结果排序与合并策略,包括元数据管理策略、查询结果的排序与合并的实现;然后用详细的实验证明了该策略的有效性.

无线传感器网络中的查询合并算法

根据无线传感器网络资源有限的特点,提出一种针对类SQL语言的查询简化与合并算法。算法根据基站上保存的属性历史数据,预测查询合并前后的能量消耗,如果合并后能耗减少,则将查询合并为一个新查询。仿真实验结果表明,合并可以减少网络中查询的数目,避免发送大量冗余数据,达到降低能量消耗的目的。

超级节点网络中并行查询和合并机制研究

针对超级网络中超级节点可能会导致网络瓶颈、检索结果重复问题,提出一种并行查询和合并机制。首先提出超级节点选择查询节点的算法,以减少超级节点的存储和计算负担。然后提出选择下载节点的合并算法,以得到高质量、新颖和更能有效获取的检索结果。实验结果表明了该机制的有效性。

一种对象级搜索中的多查询合并算法

对传统搜索引擎使用的排序算法进行分析,将概率意义引入对象级搜索,提出一种在对象级搜索中合并多个查询结果的算法.通过归一化以及考虑概率意义与查询规模间的关系,该算法独立于生成结果列表使用的排序算法.实验结果证明该算法提高了查询结果的质量.

基于大规模智能电网网格结构的查询方法

由于智能电网输电线路监测系统的查询多数是针对无线传感器网络(WSN)的全局式查询,不能满足用户基于任意区域的灵活高效的查询需求,根据该系统的网络布局和查询特点,提出了一种基于大规模智能电网网格结构的查询方法 MSQuery。MSQuery将不同网格内的查询节点的数据汇聚到一棵或多棵逻辑查询树上,采用逻辑查询树的合并策略建立优化的回收路径。将MSQuery与采用路线型结构进行查询的RSA算法和采用簇型结构进行查询的SkySensor算法进行对比,结果显示MSQuery的平均传输消耗最小,平均剩余能量最大。实验结果表明,MSQuery可以快速地返回查询窗口内的查询结果,降低通信消耗,节省传感器节点能量。

基于LSM-Tree的键值存储系统的读写性能优化

在写密集型工作环境中,日志结构合并树(LSM-Tree)已逐渐成为主流存储系统,LSM-Tree存在读操作速度慢、写操作成本高、范围查询操作效率低等问题;针对这些问题,为提升LSM-Tree的性能进行了研究,提出了一种基于LSM-Tree的键值存储系统的读写性能优化策略,通过键值分离策略设计vTree结构,并提出层内归并与消极的层间合并相结合的方法,以及范围查询优化合并的策略,从而优化系统的范围查询性能,在LSM-Tree和vTree采用不同的压缩结构,以实现系统读写性能的提升;实验结果表明,与RocksDB相比读性能提升30%,与RocksDB-vTree相比范围查询性能提升10%。

一种基于Key/Value数据库的查询方法

随着NoSQL数据库应用的广泛普及,针对分布式数据库的研究越来越深入。为了缓解大数据环境下用户对查询结果实时性和准确性不断提升的要求和目前大数据查询性能低之间的矛盾,文章基于最常用的分布式键值(Key/Value)数据库展开探讨,给出了一种基于Key/Value数据库的查询机制框架,按照分解→调度与执行→结果合并的查询流程展开讨论,最后针对查询优化提出了4点建议,为进一步提高查询效率提供了理论依据。

面向地理数据服务的空间数据集成关键技术研究

分析和比较了现有空间数据集成方法,指出面向地理数据服务的空间数据集成是目前构建空间数据集成系统最理想的方式;从查询应用的角度分析了面向地理数据服务的空间数据集成关键技术,总结了已有的研究成果,指出了空间数据集成技术当前研究的热点问题和进一步的研究方向。

Internet多数据源数据库操作的探索

Internet是一个超大型的分布式系统,其中的各个节点正日益成为数据库系统。从分布在Intertnet上的各数据源中找出数据成为一种迫切要求,这使得数据查询有别于传统方法。主要介绍了一种新的查询概念——合并查询,并给出了查询方案和相应的优化算法。这种查询方式使对于不同数据源之间查询数据有了新的变化,提高了数据查询执行效率。

基于弱监督深度学习的文本聚类算法及应用

围绕基于用户点击数据的文本聚类展开研究。利用点击数据将查询文本表征为图像点击特征图,并在此上训练深度点击模型。为了应对文本噪声,引入可刻画文本可靠性的权重,提出基于弱监督深度学习的文本聚类算法来迭代更新文本权重和深度模型。将该算法应用于基于点击特征的图像识别中,通过合并相似文本,为图像构建紧凑的文本集点击特征向量,实现高效的图像识别。在Clickture-Dog和Clickture-Bird两个公开点击数据集上进行验证,结果表明:用图像点击特征图来表征查询文本可有效解决原始点击特征向量的稀疏和不连续性,帮助获得优秀识别率;弱监督深度聚类模型不仅帮助学习强大的文本表征,还能有效选择高质量文本数据训练模型,进一步提高性能。