基于R-树索引的Map-Reduce空间连接聚集操作

空间连接聚集是一种常用并且非常耗时的空间数据库操作,特别是在面对大规模空间数据集时,单机运行环境难以满足其对时空开销的需求,如何设计高效的面向云计算环境中的分布式空间连接聚集算法越来越受到人们关注。Map-Reduce作为云计算的核心模式受限于其扁平化的串行扫描操作模型,常被用来加速非索引的空间连接操作,现有工作尚无将Map-Reduce和R-树索引结合来处理空间连接聚集。因此,提出了基于R-树索引的Map-Reduce空间连接聚集算法(RSJA-MR)来更高效地返回连接聚集结果。提出一种分布式R-树索引结构以支持大规模空间数据的索引,RSJA-MR算法利用分布式R-树生成任务集,任务集的执行满足无依赖并行计算模式,很容易在Map-Reduce框架中进行表达。文中提出一种实时缓存策略以支持索引并发访问。实验结果表明:相比非索引的Map-Reduce连接聚集算法,在空间交叠连接聚集查询上,时间性能最少提升8%,在空间包含连接聚集查询上,时间性能最少提升近35%。

基于MAPGIS平台实现地图拼图

通过介绍在MAPGIS环境中实现数字地图拼接的理论和方法,阐明了拼图过程按多项式拟合法进行误差纠正与按正交旋转矩阵进行线性变换的本质区别,对MAPGIS软件整图变换功能技术内幕进行了深入研究,同时从数字拼图的几何原理出发,勾绘出拼图过程中所涉及的数学模型以及算法模型,最后通过程序设计语言源代码给出具体的实现方案。

基于SuperMap Objects3.0的开发探讨

组件式GIS是GIS软件开发的一个全新阶段,具有高效、快捷、方便的开发优势。简述了SuperMapObjects3 0组件化的模块设计和数据组织,并结合一个具体的开发实例探讨了基于其二次开发的数据入库管理和基本GIS功能的实现。

基于MapReduce的等值连接中数据倾斜问题研究

针对MapReduce计算框架下实现数据表等值连接时不能很好地处理数据倾斜的问题,详细分析了数据倾斜带来的任务负载不均匀问题和解决思路,结合两表之间传统连接算法和广播连接算法思想,提出将倾斜数据和非倾斜数据区别对待的分区连接算法。实验结果表明,提出的算法很好地解决了数据倾斜问题下任务负载均衡问题,有效提高了两表之间等值连接查询效率。

HashMap优化及其在列存储数据库查询中的应用

HashMap在基本字典操作中具有常数级别的平均算法时间复杂度,广泛应用于大数据的检索。Block_HashMap(BHMap)基于C++HashMap,其优化包括三方面:哈希函数选取,冲突解决和关键字匹配。优化核心在于冲突解决时,以链地址法为基础,提出了一种高效利用高速缓存的存储结构Block_List来存储冲突的数据,并且预先缓存哈希值,节省匹配时间。实验证明,在桶数目充足的情况下,BHMap会多消耗少部分内存,但在桶数目有限,数据重复率比较低的情况下,时间性能上相对C++标准模板库中的Map提升10倍以上,比unordered_map快3.5倍以上,且消耗的内存与unordered_map相差不大。在列存储数据库分组和连接查询中,关键字的分桶、解决冲突和匹配操作也都涉及到基于哈希的技术,最终把BHMap应用到列存储数据库的关键查询中。

一种多图幅数字地图拼接显示方法

随着数字地球的发展,传统的以图幅为单位的GIS应用模式已满足不了实际应用的需要,本文以数字地图的线要素为研究对象,通过数据拼接结构的设计,研究了一种多图幅数字地图逻辑拼接显示的新方法,从而使GIS能够在更广阔的地理信息范围内进行分析应用。

寻找三角形扩展点的一种有效算法

本文提出了在计算机自动联结三角网时从相邻有限矩形网格中寻找当前扩展边的扩展点的算法，该算法是对文献［１］中相应算法的改进和进一步完善，适合于大数据量区域的联网。

一种基于ArcGIS和AutoCAD的数字地图拼接方法

地图数字化是地理信息系统工作的首要任务之一,针对地理信息系统地图数字化过程中常见的多图幅数字地图逻辑拼接以及数字化后易出现的空间逻辑错误问题,提出一种基于ArcGIS的数字地图逻辑拼接和空间逻辑错误检查方法,实现了真正意义上的多图幅数字地图逻辑拼接,并在河南省航道基础地理信息管理系统中应用,取得了理想效果.

DLG数据采集中的自动接边实现

分析了实现自动接边中需要解决的基本问题,说明了DLG生产中不推荐使用曲线的理由,给出了接边程序的流程和关键算法。最后介绍了MAP系统中的自动接边功能。

基于向量引用Platform-Oblivious内存连接优化技术

以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理,在面向复杂数据模式时,连接操作仍然是重要的性能瓶颈.近年来,异构处理器逐渐成为高性能计算的主流平台,内存连接性能的研究从多核CPU平台扩展到新兴的众核处理器,但众多的研究成果并未系统地揭示连接算法性能、连接数据集大小、硬件架构之间的内在联系,难以为未来异构处理器平台的数据库提供连接平台优化选择策略.以面向多核CPU、Xeon Phi、GPU处理器平台的内存连接优化技术为目标,通过优化内存哈希表设计,实现以向量映射替代哈希映射操作,消除哈希代价对内存连接算法的影响,从而更加准确地测量内存连接算法在多核CPU的cache大小、Xeon Phi的cache大小、Xeon Phi的并发多线程、GPU的SIMT(单指令多线程)机制等硬件相关因素影响下的性能特征.实验结果表明,缓存与并发多线程机制是提高内存连接算法性能的重要影响因素.缓存机制对于满足cache大小的连接操作具有性能优势,而GPU的并发多线程机制则在较大表的连接操作中具有较高的性能,Xeon Phi则在满足其L2 cache大小的连接操作中具有最高性能.实验结果揭示了内存连接操作性能与异构处理器硬件特性的联系,为未来异构处理器平台内存数据库查询优化器提供了优化策略.

海岸带图管理信息系统的设计与实现

以海岸带图数据的科学管理和应用为目的,提出了以功能强大的Oracle9.2为底层数据库管理系统加上专门管理空间数据的Spatial选件的方案,来实施海岸带空间数据的数据库管理和应用,实现了空间数据的结构化存储、空间数据的无缝拼接和组件式海岸带地形图符号库为基本特征的空间信息系统。

一个油气资源图生成系统的研制与开发

栅状连通图、井位图和油气分布图是用于石油、天然气勘探和开发的重要的工程图。笔者介绍了采用面向对象的编程技术、利用Object ARX为开发工具的一个油气资源图生成系统的功能与结构。并以栅状连通图为重点介绍了在开发该油气资源图生成系统的过程中遇到的一些问题和解决这些问题所用的方法及关键技术。

计算机辅助网格拼接技术

映射法生成网格一般先分片生成网格 ,然后不同片上网格拼到一起。此时涉及兼容性问题。本文研究了获得兼容性拼接网格的拼接技术 ,分三种情况 :两片皆为三角形网格、一片为三角形网格 ,而另一片为四边形网格、两片皆为四边形网格。编制了程序并用数值例子作了验证。

持久对象的Refsort-loops连接算法

对象关系模型中,基于引用导航的对象连接效率不高,鉴于此,文章提出Refsort-loops连接算法:通过缓存关联对象的引用,并依照重新排序后的引用序列查询关联对象。该算法可以避免对位于同一数据块上不同记录的重复读取,并给出了性能分析公式;通过模拟实验证明了基于该算法的对象连接运算可以减少磁盘的IO次数,节省磁盘的访问时间。

闽南方言传播模式的计量分析

文章采用邻接算法、主成分分析方法以及高程模拟综合图的交叉分析方法对11个闽南方言音系材料进行计算分析,可得到闽南方言区域传播的固有模式。计算结果显示闽南方言的传播模式为从东北向西南沿海岸线传播,这与人口迁移史相吻合。计算结果在音系结构相似度、语言历史、语言传播方向等方面与传统语言学研究成果可互相印证,说明通过方言音系结构之间的差异分析语言演化模式具有可行性。

对象关系模型中关联对象的连接算法分析

基于关系数据库聚簇索引的逻辑和存储方式,提出在对象关系模型中遍历关联对象时缓存中间结果的连接算法,并给出了性能分析公式,通过计算和模拟实验证明了采用该方法查询关联对象时能减少磁盘的I/O次数和磁盘访问时间。

面向新型测绘的时空数据属性连接及扩展方法研究

属性连接是整合集成新型测绘多源属性数据、扩展丰富实体信息、促进知识挖掘服务的重要操作和手段。在界定总结连接概念及类型的基础上,本文通过分析,明确了ArcMap现有属性连接工具在连接谓词、连接类型、连接基数等方面的局限。针对这些局限,选用目前流行的AO Addin技术,设计实现了一个属性连接扩展工具条插件——eJoin,详细讨论了该插件的主要功能及实现策略,并利用多种数据对其进行了试验验证。试验表明:该插件能够快速执行一般连接、自连接、m∶n连接、投影连接等操作并完整表达连接结果,为新型测绘时空数据属性连接提供了更加实用、便捷的工具支撑。

泛化双向相似连接

相似连接是数据管理领域的一个热门话题,已在社会生产生活中得到广泛应用.然而,现有的相似连接方法并不能满足真实世界不断增长的客观需求.通过引入定义在多种数据类型上的满足操作符和每条数据的独立阈值,定义了一种相似连接——泛化双向相似连接.这种连接扩展了相似连接的应用范围.同时,还提出了两种高效的解决泛化双向相似连接问题的方法:子连接集算法和映射-过滤-验证算法.通过真实与合成数据集上的大量实验,得出了所提方法的正确性和有效性.

基于AutoCAD数字地图管理方法探讨

介绍了基于AutoCAD2004系统的图形管理方法,结合实例讨论了数字地图图幅属性的分类组织与编辑,叙述了图形查询、拼接的具体步骤与方法;试验说明,用该方法建立中小城市的地形图管理系统是十分方便有效的。

一种地图线要素综合化简递归并行算法

移动地图和网络地图等电子地图的服务为人们出行带来了很多便利,它要求电子地图服务商具有快速处理地图的能力(如更新、综合等),地图综合是地图快速处理中一个非常重要的坏节,如何实现快速自动处理,巳成为目前研究的热点。Li-Openshaw算法是一种以人的视觉特点为基础的自适应线状要素综合算法,使用该算法可得到比较合理、真实的综合结果。针对Li-Openshaw算法计算量大、串行处理效率不高的问題,本文在分析Li-Openshaw要素综合算法的基础上,利用Fork-Join计算模型对线要素进行递归二分分割,实现了并行Li-Openshaw要素综合算法,并在多核处理器上进行了实验。结果表明:该算法相校于按数据集分割的并行Li-Openshaw算法在时间消耗上有一定的改进,并且随着处理器核心数(原生践程数)的增加,算法性能会进一步提高;但该算法模型在创建线程、销毀线程、线程间的通信以及上下文切换的计算过程中均有一定的时间损耗。因此,本文的算法在各线要素相对较长时具有比较好的处理性能。