搜索引擎分块索引技术研究

搜索引擎通常使用签名文件、倒排索引、后缀树/后缀数组来构建索引,其中倒排文件由于性能可靠、实现简单,得到广泛应用。但是在现今海量数据情况下,有时倒排索引仍显力不从心,导致检索性能不佳,提出了分块索引术,可以有效提高基于倒排索引搜索系统检索效率。

支持去中心化存储的分块可搜索对称加密

可搜索加密已经发展多年,用于支撑密文数据的检索甚至复杂运算.随着以文件分块为主要特色的去中心化存储应用的快速发展,现有可搜索加密方案不能适应其效率需求.特别是,当索引文件较大时,执行检索操作的实体需要完整下载索引文件才能完成搜索,效率非常低.为此,本文提出了一种基于分块存储加密索引的可搜索对称加密方案.通过设计两级索引,在执行检索时,仅关键字命中的索引块才会被访问从而极大地提高了检索效率.配合区块链及智能合约,本文提出的方案可以构建数据所有者和数据用户之前的公平交易环境,分块检索的效率优势较好地适应了去中心化存储中密文检索的应用需求.实验表明,本文提出的方案在文档集合较大时,检索效率仅依赖于检索关键字命中文档的个数,且在存储开销、计算开销、Gas消耗等方面具有优势.

规则格网DTM快速构建算法研究

规则格网 (Grid)是数字地形模型 (DTM)最常用的表示方法 ,有着广泛的应用。研究了基于离散点、三角网两种空间数据的规则格网快速构建算法。实验表明 ,分块索引方法及扫描线填充方法的引入实现了规则格网的快速生成 ,在大数据量条件下 。

动态按需加载算法在GIS地图中的应用

针对传统数据加载算法存在数据冗余多、加载慢的问题,从地图显示技术现状与用户需求出发,提出动态按需加载算法,通过对图形元素进行分块与建立分块索引实现地理信息系统地图数据的快速查询、加载、显示。测试及分析结果表明,该算法很大程度上减少了系统加载数据量和数据冗余,提高了数据加载速率。

海量车载激光点云组织与可视化研究

车载移动测量系统是一种高精度、高速度的空间信息采集设备,由于获取的点云数据量大,海量车载激光点云的数据处理、三维建模和可视化面临挑战。考虑到车载激光点云沿采集线路逐行扫描形成的特点,提出了一种分块多层叠加型空间索引结构,对海量车载激光点云数据自动分块并建立LOD瓦片结构,实现海量车载激光点云数据的管理与动态调度。实验结果表明:该方法具有有效性和可行性。

基于LiDAR点云数据索引的DEM快速提取

DEM应用日趋广泛,从LiDAR点云数据中提取DEM是一种满足应用需求的简单有效方法。由于Li-DAR点云数据的庞大性,直接提取DEM效率不高。为了提高对点云数据处理的效率,本文探索应用索引技术来优化LiDAR点云数据的处理,生成高精度DEM。该方法首先对LiDAR原始数据点建立网格分块索引;然后再利用形态学的方法对LiDAR原始数据进行滤波处理;最后用逐点内插方法生成DEM。实验结果表明应用空间数据索引技术极大地提高了点云数据滤波与DEM生成的效率。