双层索引驱动的隧洞海量点云高效管理方法

针对隧洞表观性态监测,三维激光扫描获取的点云具有数据量巨大、非结构化以及狭长线状非均匀分布等特点,给隧洞点云数据处理极大的压力,也制约了隧洞工程点云监测应用的发展。为此,本文结合隧洞工程空间分布特点,提出一种基于双层索引结构的隧洞海量点云管理方法。该方法设计了一种基于Hough变换的隧洞水平中线粗提取方法,指导隧洞点云数据沿水平中线进行点云自动分段;而后利用“自下而上”的归并构建策略建立分段点云八叉树索引。在此基础上,利用非冗余的多层次细节(LOD)建模方法和内外存动态调度技术实现海量点云数据快速可视化。实验结果显示,本文方法有效提高了隧洞点云水平轴线提取效率,基于双层索引结构的隧洞点云管理在点云检索、海量点云数据可视化等方面表现出优异性能。

基于并发跳表的云数据处理双层索引架构研究

云数据处理在云计算基础设施中占有极其关键的地位.然而,当前的云存储系统绝大部分都采用基于分布式Hash的健-值对模式来组织数据,在范围查询方面支持不理想、且动态实时性差,有必要构建云环境下辅助动态索引.通过总结、分析云环境中辅助双层索引机制,提出一种基于并发跳表的云数据处理双层索引架构.该架构采用两层体系结构,突破单台机器内存和硬盘的限制,从而扩展系统整体的索引范围.通过动态分裂算法解决局部服务器中的热点问题,保证索引结构整体的负载均衡.通过并发跳表来提高全局索引的承载性能,改善了全局索引的并发性,提高整体索引的吞吐率.实验结果表明,基于并发跳表的云数据处理双层索引架构能够有效支持单键查询和范围查询,具有较强的可扩展性和并发性,是一种高效的云存储辅助索引.

基于双层索引结构的起源图查询方法

为解决现有的起源图查询效率低和资源占用率高的问题,考虑起源信息和数据本身之间的关联关系以及起源信息内部结构特点,提出了一种基于双层索引结构的起源图查询方法。首先,面向起源图查询,提出了一种包括基于词典表全局索引和基于位图局部索引的双层索引结构,全局索引用于查询起源图所存储的服务器节点,局部索引用于对全局索引查询到的服务器节点细化查询;然后,基于双层索引结构,设计了一种起源图查询方法,针对6种选择索引和3种join链接索引实现了查询算法。实验结果表明,所提方法既提高了查询效率,又降低了内存资源的浪费。

基于双层索引网络模型的P2P数据库关键字搜索

分布式数据库系统中信息检索对网络状态稳定程度要求高,并不适用于P2P网络。目前的P2P数据库系统也存在通信量高,搜索计算量大等缺点。介绍了一种基于双层索引网络模型的P2P数据库的关键字搜索策略,采用双层索引模型大大减小网络通信量,同时使得在节点成员关系频繁变化的情况下也很有效。采用的关键字搜索根据相似度进行匹配,使用局部结果合并以获得更丰富的结果。

自适应双层网格的空间索引研究

空间数据索引是GIS系统中的关键技术,针对目前主流的网格空间索引方法进行了充分的研究比较,指出了网格索引方法对空间要素进行索引是高效的,但对于非规则地图它是不适应的。在此基础上设计了一种新的空间索引的方法,即自适应双层网格索引。详细地介绍了这种模型的实现过程,并且用实验充分论证了这个模型的效率,认为利用自适应双层网格索引检索空间数据时,处理、查询效率和占用空间等各方面具有较大优势。

基于MapReduce和双层倒排网格索引的kNN算法

随着卫星定位技术和移动互联网技术的飞速发展,地理空间数据来源变得更加多源异构.面对海量地理空间数据,如何快速有效地找到目标周围的兴趣点变得异常重要.依据空间k近邻(kNN)查询算法,提高效率的关键在数据索引和数据块存储结构设计,通过引入云计算的MapReduce编程模型,设计了一种面向MapReduce的地理空间数据双层倒排网格索引,利用CircularTrip算法实现了目标点近邻查询计算,最终获得距离目标点最邻近的数据点集.实验结果表明,该索引方法较单层倒排网格索引下的kNN查询效率有明显提高,且数据量越大效率提升越明显,此法适合大规模并行计算.

基于改进型B+树的电力多模态数据索引系统研究

电力系统数据在指数级增长的同时也逐渐呈现出多模态特性,这使得传统索引方法不能满足电力业务对异构数据进行快速内容检索与协同管理的需求。因此,本研究在传统B+树索引的基础上,加入倒排索引,并针对电力多模态数据设计了双层混合索引结构。该结构对数据属性和属性值分别建立索引,并依据数据属性的不同类型构建不同的索引结构。双层混合索引能够避免传统单一B+树的不足,在降低时间和空间开销的同时更好地满足了电力业务需求,从而为电力系统智能化分析与应用提供有效支撑。

面向海量水利数据的索引方法研究

水利数据的存储形式多样、数据量庞大以及水利实体种类丰富,针对每一类水利实体对象,不仅存在基础描述信息,也存在一系列测量业务信息,这2类数据存储和更新频率不相同。水利业务检索不仅要求能实现对象基础信息的快速检索,还要求根据基础描述信息和业务信息之间的依赖进行组合查询,而目前云环境中,尚缺能满足此类兼顾多类型数据之间依赖关系的高效索引方法。此外,水利数据量的急剧增长,给系统检索性能带来了巨大的挑战。为此,本文提出基于Hadoop的分布式双层索引结构HRB,针对不同的数据类型建立不同的索引。经实验验证,HRB索引与常规分布式索引相比,索引创建效率更优,且在数据量达到千万级别时,HRB检索速度更快,表明HRB具有一定的使用价值。

电动汽车充电网络云平台下一种基于Chord-R的多租户多维索引方法

面向不同运营商多租户数据的高效索引方法是构建电动汽车充电网络云平台的关键技术之一。现有多租户数据索引方法在面对海量多维信息索引时存在效率低的问题。在此背景下,提出了一种基于共享存储模式的Chord-R双层索引方法,上层采用对等结构中的Chord协议作为全局索引,使单个租户的数据聚集并有序地分布在尽量少且相邻的节点上,保证数据具有良好的隔离性和扩展性;下层引入空间索引方法 R树进行本地数据的局部索引,最终实现了多租户数据多维信息的高效索引。实验结果表明,在进行多维信息索引时,与典型多租户索引方法(multi-tenant indexing mechanism based on improved Chord mapping approach,M IM C)相比,查询时间至少可以节省48%。