图像切片与索引构建技术在数字化地图审核中的应用

长期以来,地图审核工作一直沿用纸质地图邮寄送审的方式,存在成本高、周期长、审图标准不统一等问题,在很大程度上影响了地图审核工作的效率。因此,探索实现数字化地图审核是降本增效的必然选择。然而,经测试发现,在浏览器上用常规方法加载超过10 MB数据量的地图样图时,会出现严重卡顿甚至崩溃的现象。针对上述难点,本研究提出栅格图像分层切割与自动索引构建方法,可支持逾2 GB的大数据量地图样图基于浏览器前端的无级缩放和快速审图。

云计算环境下空间索引构建研究

空间数据索引对于空间数据管理和分析具有重要作用,与数据处理速度和效率密切相关。随着人类社会进入大数据时代,遥感矢量数据具备了大数据的特点,传统的空间索引构建方法无法有效满足矢量大数据处理的需求,为此引入云计算环境来进行空间索引构建,目的是提高空间索引构建速度。首先,对常见的空间索引及现阶段云计算环境下基于MapReduce模型的空间数据管理进行了综述;然后以云计算环境下R树索引构建为例,对云计算环境下空间索引的构建进行了研究;最后,通过实验验证,证明了云计算环境下空间索引构建的速度与单机索引构建相比,加速比为28~40倍;在相同云环境下,网格索引构建速度最快,R＋索引构建速度相对较慢。

学习索引研究综述

大数据时代数据呈爆发式增长,传统索引结构难以处理庞大复杂的数据,为解决这一问题,学习索引应运而生,并成为当前数据库领域的研究热点之一。学习索引利用机器学习模型进行索引构建,通过对数据和物理位置之间的关系进行训练和学习得到学习模型,掌握二者之间的分布特点和规律,从而实现对传统索引的改进和优化。大量实验表明,与传统索引相比,学习索引可以适应大规模数据集,提供更好的搜索性能,具有更低的空间要求。文中详细介绍了学习索引的应用背景,梳理了现有的学习索引模型;根据数据类型的不同,将学习索引分为一维和多维两种类别,并对每种类别中学习索引模型的优缺点和可以支持的查询进行了详细的介绍和分析;最后对学习索引的未来研究方向进行了展望,以期为相关研究提供参考。

频繁更新移动对象的索引方法

在时空数据库中,频繁更新会导致TPR树更新与查询性能下降。针对该问题,提出MAH_TPR索引方法,分别对预处理过程、索引结构及更新算法进行优化。在构建索引及更新操作时,通过使用空间聚类来减少节点间空间区域的交叠几率。引入基于磁盘的Hash辅助存储结构,在直接访问叶节点的基础上进一步减少磁盘I/O的操作。引入基于内存的移动对象辅助存储结构,用于存储发出频繁更新请求,以避免主索引结构节点的合并和分裂。实验结果表明,MAH_TPR索引方法的查询性能优于HTPR方法和LGU方法,更新性能优于HTPR索引方法。

一种海量文本的动态索引方法

研究海量文本动态索引的构造方法,通过对索引维护策略的研究和对比,设计了一个优化的索引模型,在保证检索效率的前提下,提供了实时索引的功能;提出了一种分代的动态索引构建方法,以减少索引合并代价,同时可以调节索引和检索的性能平衡,与以前方法相比,具有更高的性能和更好的规模可扩展性,并在理论和实践中验证了这种索引维护方法的高效性.

基于流量检测的目标大数据快速检索系统设计

目前使用的基于簇内乘积量化、倒排索引的检索方法存在耗时较长、效率偏低的问题。为此,设计了基于流量检测的目标大数据快速检索系统。设计索引服务器,利用XML驱动系统,编写XML配置文件,并传递给接口执行相关操作。使用流量检测方法检测异常数据入侵行为,实现对异常数据的定位。计算采样间隔,并确定索引构建时间,构建基于时间域的倒排索引。设计检索流程,完成系统设计。实验结果表明,该系统索引构建时间最短为0.03 s,膨胀系数最大可达到0.99,具有快速检索目标大数据的效果。

面向生态破坏问题会商的个性化矢量数据服务实现

为加强生态保护红线内生态破坏问题监管,满足生态破坏问题会商过程中对问题图斑、红线边界等多种数据资料集成展示、查询浏览和研判分析的应用需求,在兼顾栅格瓦片优势的基础上提出了矢量瓦片技术概念,阐述了矢量瓦片技术路线和实现方法。通过具体实验数据得出:该方法实现了生态破坏问题会商各类矢量数据服务的系统化管理和便捷化应用,通过快速灵活地定制个性化配图达到“一套数据、多元表达”的应用效果,有效提升了生态破坏问题会商数据服务效率,为管理决策提供了便捷的数据和技术支撑。

基于Elastic Search算法应用研究

随着互联网技术越来越深入人民的日常生活,各种数据呈爆炸式增长趋势,因此如何从海量的实时数据中迅速地获取用户需要的信息,变得越来越有必要性。电商平台是典型的应用,电商平台每天都会产生海量的交易数据和搜索数据,如何从用户的行为数据分析每个用户的购买习惯,给用户提供有效的推荐,是电商的重要工作,Elastic search搜索算法应用较为广泛。

基于区块链的日志安全存储方法研究

随着计算机科学的高速发展,告警日志的数量呈几何的增长趋势,告警日志记录着攻击行为的相关信息,容易受到数据窃取和恶意篡改,同时告警日志中包含大量的无关告警,导致日志分析的准确性不高。为解决告警日志的安全存储和数据提取两方面的问题,文中提出了一种基于区块链的日志安全存储方法,使用基于区块链的分布式存储架构保存告警日志,采用查询区块索引库的方式代替传统的区块链顺序检索,提高了告警日志的检索速度。通过对攻击源地址的威胁评估,构建密文索引结构存储在区块头中,并根据告警日志之间的相关性分析,实现攻击场景告警日志的关联检索。由实验结果可知,使用基于区块链的日志安全存储方法存储告警日志,存储过程中的区块生成效率并不会由于密文索引构建而大幅度下降,告警日志的检索效率较高并能够检索获得相关攻击场景的告警日志。

基于HowNet查询扩展方法的探究

考虑到查询扩展方法在信息检索中很少考虑词语的顺序、分布和词条概念关系等因素,难以在信息检索中对文本相似性做出全方位的度量。针对这种情况,基于词语概念本体How Net对词序、词距、扩展词权重特征进行概念相关性度量,并将词语相关性度量作为特征词权重因子引入文本检索过程中,实现了一种改进的特征量化方法。Top-N检索结果的实验表明,采用的方法使得系统整体性能获得有效提升。

基于Hadoop技术的Web电子产品信息检索系统研究

为使网络商业信息具备海量化、类型多元化、结构多样化等特性,迅速且精确获取产品信息并及时加以呈现,本文基于Hadoop技术设计Web电子产品信息检索系统,对系统的数据抓取性能、索引构建性能进行了对比分析测试实验。实验结果表明,Anchor-Hop-T模型相比较Anchor-Hop模型,查准率相对更高,花费时间也较短。

维护代价约束下的物化视图选择

物化视图的选择是数据仓库设计重要的决策之一.探讨在一定维护代价约束条件下,在检索过程中总检索成本最优化的问题,并提出新的动态算法-最小/最大侯选变换算法.该算法的关键是基于最小有效的极大基数配比技术和通过构建索引而设计的代价计算模型来获得最大候选集.实验结果显示这个算法是高效的、动态的、近似最优的.

MapReduce原理及其在自然语言处理中的应用研究

针对目前海量数据处理在处理速度、存储空间、容错性、访问时间等方面存在的问题,对Google MapReduce编程模型的原理、执行流程等进行分析,从MapReduce与索引构建、统计机器翻译、聚类算法、文本分类四个方面,总结MapReduce编程模型在自然语言处理及信息检索等领域的主要应用,以期对MapReduce编程模型原理及其主要应用有一个较全面的认识。