面向数据库特征的基于LMDB与线性八叉树海量块段模型存储技术（英文）

为满足数字矿山系统应用中对海量数据高效存取的技术要求,提出一种块段模型海量数据存储新方法。该存储技术满足数据库的特点:ACID兼容、并发支持、数据共享及高效访问;采用线性八叉树的方法组织块段模型,并存将其储于LMDB(快速内存映射数据库)中;通过定位码比较算法及从几何空间地址码到存储空间定位码的转换算法,可高效地对三维空间任意点的地质属性进行查询;采用三维到二维的转换及内外点二维网格扫描筛选法,使地质属性查询的三维问题转化为二维问题,其性能和鲁棒性得到显著提高。实验结果表明,这种方法能够高效存取块段模型海量数据,并满足数据库的特点;相比于采用etree方法,采用LMDB方法至少快3倍,特别是在读取数据时效率更高,且数据量越大,效果越明显。

基于海量POI数据的城市小学教育资源信息的提取与分析

通过网络爬虫获取海量POI数据具有巨大的应用前景。文中利用改进后的两步移动搜索法,计算居民区的教育资源可达性,评价以市为单位的小学教育资源的状况,将各市的GDP与教育资源可达性进行相关性分析,评价各省经济发展与城市教育发展的相关程度,为政府部门提供决策依据。同时,研究POI数据的预处理方法和分类方法。

海量数据存储系统的高效数据分级机制

随着全球信息化的发展,数据呈海量增长,这种增长导致了两种情形:一是文件数量越来越多,二是文件体积越来越大。分析了现行数据存储系统在这两种情况下存在的主要问题,通过分析比较提出了数据多级存储结构是能够解决这些问题的有效机制,同时阐述了多级存储的优点和实现原理,证明了多级存储结构是一种能够存储海量数据且高效可靠的存储方法。

大量数据处理时的高效率VC＋＋编程方法

Visual C＋＋是目前计算机软件设计中最流行的、功能强大的常用开发工具。本文针对VC＋＋在开发大数据量处理的软件时，存在内存分配、绘图性能、文件存取等方面的问题，分别提出虚拟内存分配、双缓冲绘图、巨型文件读写等解决办法。

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问;从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台;平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用;同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。

实时数据库系统研发及其在智能电网中的应用

随着智能电网的发展,电网生产实时数据呈现出数据量大、实时性强等特点。为满足智能电网对海量实时数据处理需求,基于多线程实时处理技术,研发了一种实时数据库管理系统。文章介绍了该系统特点及系统结构,及其在用电信息采集、智能园区、能效管理平台、变电站热点监控等智能电网领域中的应用情况。该系统很好地实现了智能电网海量实时数据的采集、处理、分析、存储及展示,满足智能电网海量实时数据采集频率高、数据量大的应用需求。

TB级海量地震数据三维显示系统的设计与实现

随着渤海海域油气勘探开发的不断发展,地震数据体的数据量在不断增加,可达到几百GB甚至TB级,而现有软件无法完成跨工区、跨软件的海量地震数据调用和显示。自主研发了TB级海量地震数据三维显示系统,通过建立网络数据服务对多个现有专业软件数据库、多个工区的地震数据统一调配,以形成一个庞大的数据集并提供统一的数据访问接口,最终在客户端实现海量地震数据的实时高速读取,并以各种方式(剖面、切片、三维体)显示地震数据及相关成果图。应用效果表明,该系统功能强大、方便快捷,不仅可以在工作站上调入总量达到TB级的多个地震工区数据,同时还可以在PC机上快速浏览数据量达到几十GB的地震体,从而为渤海海域区域地质研究提供有力的技术支持。