基于大页内存的学习索引内存分配策略

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能,但存在频繁的缺页中断问题.为解决此问题,进一步提升ALEX性能,在ALEX基础上提出了一种基于大页内存的内存预分配策略,较好地降低了内存缺页中断率,提升了ALEX性能.在内存分配阶段,采用预分配策略;在内存回收阶段,则采用延迟释放策略.在Longitudes数据集上的实验表明,该策略具有良好的效果.

一种支持网络硬盘存储系统的大数据传输技术

随着网络的迅速发展和普及,网络硬盘存储系统的应用越来越广泛.但现有的网络硬盘存储系统在超大数据文件传输、传输过程的内存占有率、数据安全性及断点续传等方面仍存在着一些缺陷.针对这些问题提出一种高效便捷的DTOSS(Data Transmission in Online Storage System)数据传输技术.DTOSS数据传输技术基于服务器端的目录树结构,利用分块传输的思想,实现了超大数据文件的传输.同时DTOSS技术还提高了数据的安全性,压缩了传输过程中的内存开销,并实现了超大数据文件的断点续传.实验结果表明,DTOSS技术以64MB作为单个数据块大小可以达到最大的传输速率,此条件下的内存开销大约为67MB,并能节省约2/3的中断重传时间.

基于三维GIS的海量地形数据存储和调度的研究

地形数据用来表达地形起伏特征,如何有效地存储和调度海量地形数据是三维GIS研究热点之一。本文基于金字塔影像、分片分块的方法组织三维地形数据,以此基础开发了基于三维显示平台和通用数据库(DBMS)的空间数据中间件,通过空间数据中间件对数据库进行地形数据的读写,实现了三维地形数据的存储和调度。

数据挖掘在审计信息分析中的应用

介绍了应用数据挖掘实现审计数据总体分析流程,并提出了一种应用模糊神经网络与遗传算法相结合的方法来解决在海量数据条件下的审计数据的总体分析问题。

Oracle数据库中大型表查询优化的研究

对海量数据进行访问查询时 ,常常遇到系统响应时间过长 ,占用系统资源过多的问题。本文结合实例着重对 Oracle数据库中的查询优化进行了研究 ,测试结果表明采用的方法是很有效的 ,大大缩短了测试用例表的响应时间 ,最后对海量数据的优化方法提出了实用性的建议。

一种海量数据的分析技术——符号数据分析及应用

传统的统计分析方法在处理海量数据方面存在很大的局限性。为了解决这一问题,符号数据分析(symbolicdataanalysis,SDA)方法被提出并得到了迅速的发展。SDA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量的原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点空间的双重降维,并将传统的统计分析技术扩展到符号数据分析体系中。符号数据的方法体系是知识发现和数据管理领域的最新研究方向之一,目前在国内鲜有相关的研究资料。文章详细阐述了符号数据因素分析技术的原理和概念,并以中国股票市场为案例研究背景,结果表明,SDA因素分析技术对综合简化大规模多维数据系统是十分有效的。

轨道交通领域大数据的关键技术研究

介绍轨道交通领域综合监控系统数据的存储、提取及运算过程,并以北京、南京等为例分析当前存在的效率问题,提出采用map-reduce分布式运算以及窗口算法,解决中心大数据量信息处理的效率问题。介绍map-reduce算法原理以及窗口算法,对采用传统方式解决大数据的同步问题进行分析,提出利用简化的map-reduce任务分发解决轨道交通数据的处理效率问题,最后对其应用领域进行扩展,可推广到轨道交通领域任何的分布式应用中。

一种区间数的因子分析技术及其在证券市场中的应用

传统的因子分析技术能够有效地对高维变量空间进行降维处理,但它对于样本空间却缺乏行之有效的降维效果.为了解决这一问题,一种针对大量样本数据、新的因子分析技术———区间数因子分析技术(intervaldatafactoranalysis,IFA)被提出并得到了迅速的发展。IFA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点维度的双重降维。本文详细阐述了区间数因子分析技术的原理,并以中国股票市场为案例研究背景,结果表明IFA分析技术对大规模多维数据系统做综合简化是十分有效的。

飞行试验数据自检测系统软件设计

在飞行试验过程中,因缺乏对海量试飞原始数据和预处理结果数据的快速检查和故障定位,导致试飞工程师分析数据的难度急剧增加,影响试飞型号任务的高效进行。在此针对上述问题对飞行试验数据进行自检测技术研究,设计了一个基于参数信息专家数据库的原始数据与预处理结果数据的自动化检测系统软件。该软件可对原始数据进行自动化检测,同时依据专家数据库的自定义判据,对预处理结果数据进行自动化检测和计算处理。经过软件测试和应用,该软件能够有效地解决原始数据和预处理结果数据中的数据异常和错误,提高试飞工程师对海量试飞数据的分析效率。

海量数据的组织与管理方法研究

随着信息技术的发展,需要存储和传播的信息数据量越来越大,数据的种类和形式越来越丰富,数据资源呈现规模大、多源性、多语言等特点,使得海量数据资源的组织和管理面临极大的挑战。本文分析和阐述海量数据资源在组织与管理等方面的问题和方法,并介绍在相关领域的研究工作和体会。

高密度地震资料在准噶尔盆地的应用及面临的问题

高密度地震勘探技术是近年来在国外发展较快的一种地震方法,相比以往的地震勘探技术具有明显的优势,信噪比、分辨率能够大幅提高,能够更细致刻画地质目标。这里详细分析了高密度地震勘探技术在准噶尔盆地面临的困难,论述了准噶尔盆地高密度地震勘探资料处理技术的现状,指出了在准噶尔盆地实施高密度地震勘探应该具备的基本条件,还需要开发和完善一些必备的配套技术。

一种面向大型地理栅格数据的并行处理框架

随着高分辨率数据获取技术的发展,地理栅格数据的数据量不断增大,串行计算方式无法快速处理大型栅格数据,因此需要通过并行技术提高效率。传统开发过程将算法与进程调度、内存管理以及数据I/O混杂在一起的编程方式,对程序员要求较高,代码质量不易控制。提出了一种面向大型地理栅格数据的并行处理框架,利用核心类的真实和虚拟两种读取方式,实现了大型数据的分步骤、分块的快速加载和写入,并将所有的并行任务调度、进程间的数据传输过程以及特定的栅格算法步骤归结为任务;通过该框架可以将算法本身与并行调度、磁盘I/O等底层操作分离,使算法编写者可以专注于算法本身,降低开发难度,提高代码质量,解决了快速编写大型地理栅格数据算法程序的目的。实验表明,本框架可实现较好的并行效果,并显著降低代码量、提高软件质量。

多级地理空间网格框架及其关键技术初探

为了有效管理、组织和利用海量空间数据,解决存储架构与现有空间数据结构不一致的矛盾,在融合国内外各种球面剖分模型优点基础上,设计了一种多级地理空间网格框架。该网格框架以地图分幅划分方式为基础,利用经纬度间隔对全球进行层次性剖分,形成遥感数据、测绘数据及其他空间数据的统一组织框架。通过对网格单元的地址与属性编码,实现空间数据的直接存储和索引,从而完成对空间信息的无缝拼接与多尺度管理。最后阐述了实现地理空间网格框架的关键技术,包括空时一体化技术、计算集群存储技术和空间索引技术等。

远程大数据量下载方法的研究与实现

在进行远程大数据量下载时,UDP协议能提供更高的数据流量,但UDP协议在数据传输时不具备错误纠正功能和重传机制,不具备传输可靠性保障,可以在UDP协议的基础上对应用层数据进行私有协议的封装,设计出一种新型的私有可靠型UDP协议。并在该协议的基础上创新出针对性的下载机制,可根据不同的网络丢包率自适应触发补发机制或重发机制,实现终端和远程服务器之间的大数据量高速、可靠的传输,最后给出了相关测试数据与分析。

基于ArcGlobe的水土流失三维查询分析系统

在以往水土流失应用系统中,查询分析主要建立在二维地理信息系统的基础上。主要研究在三维数据模型基础上实现查询,利用层次细节水平（LOD）方法以及海量数据动态调度方法解决海量数据的提取、调度,以ArcSDE作为空间数据引擎来管理和高效访问空间数据,通过GIS组件实现三维数据的可视化。以此应用到湖北省水土保持综合查询系统中,结果表明系统能在三维模型基础上有效地对全省水土流失相关信息的查询统计。

基于NoSQL的数据库技术分析

由于Web2.0的快速发展,非关系型、分布式数据存储得到了快速的发展。针对传统关系型数据库逐渐暴露出的性能瓶颈,介绍了非关系型数据库(Non_relational Database,NoSQL)模型及NoSQL数据库,对NoSQL数据库具有的特点做了简单定义,阐述了NoSQL数据库的存储方式,论证了NoSQL比较于传统关系数据库的优点,并介绍了著名的CAP理论。针对NoSQL的大数据量存储机制,总结了主流解决方案的共同特点及共同技术,并对数据库的性能测试结果进行了分析。

经济犯罪侦查中的大数据思维研究

大数据思维是人类通过数据采集、处理、分析和可视化等大数据技术手段来解决客观问题时产生的一种思维态度和逻辑范畴。随着经济犯罪侦查和大数据技术的深度融合,经济犯罪侦查工作已经成为数据密集型科学发现的应用领域。第四代科学研究范式对当前的大数据侦查工作有极其重要的理论价值。数据驱动理念、相关性研究理论、从"未知"中发掘价值、数据核心主义都是大数据思维的重要内容。大数据侦查以数据精确反映客观世界为前提,印证了世界是普遍联系的哲学原理并在实践中还原联系的全貌。大数据侦查思维体现了唯物辩证法对事物客观、全面、整体、系统性的认识和把握。未来,大数据思维的应用体现在强大数据后台赋能地方经侦队伍;通过类罪模型的迭代优化使情报研判越来越智能化;大数据预测功能也能洞悉经济犯罪的发展趋势,服务地方经济建设。

海量数据云存储优化模式的设计与仿真

在对海量数据云存储优化过程中,由于海量数据具有数据量大,伸缩性强的数据节点特征,使得海量数据客户端和云存储服务器之间网络带宽存在干扰。传统的海量数据云存储模式由于受到干扰对网络节点数据包的影响,导致无法实现海量数据的有效云存储,降低云存储的存储效率。提出采用分布式计算的海量数据云存储优化模式,首先从海量数据的管理人手,对空间数据和非空间数据的不同特点进行分析,塑造一种分布式的存储模式,在通过分布式数据虚拟化管理和面向信息汇聚的数据调度机制,完成对海量数据的云存储,并给出云存储结构图及分布式元数据集的基本结构。然后采用定向随机游走规则传输网络中各源数据包,在源数据包抵达所要访问的网络节点后,从全部邻居节中选择一个节点继续进行访问。仿真结果表明,所提方法提高存储效率提供了依据。

海量数据干扰下的危险Web数据挖掘技术研究

提出一种海量数据干扰下基于自组织映射的危险web数据挖掘算法,通过海量数据的预测值与实际值之间的误差对其中的干扰数据进行判断和排除,在此基础上,通过自组织特征映射网络对危险web数据进行挖掘,介绍了自组织特征映射网络及输出层竞争的详细过程,确定一个可形成映射的网络,将待挖掘危险web数据看作是输入向量输入自组织映射网络中,在输出图上产生相应的胜出点,将相似的输入向量汇聚在映射图的相邻区域,与该区域距离较远的胜出点对应的输入向量则可被判断是危险web数据.仿真实验结果表明,采用所提算法对海量数据干扰下的危险web数据进行挖掘,不仅具有很高的挖掘效率,而且在挖掘精度上也有很高的性能.

基于任务分类思维的云计算海量资源改进调度

对云计算海量数据下的资源调度的研究过程中,进行资源调度时资源分配无法到达合理化调度,存在资源调度效率低的问题。提出分类思维的云计算海量数据资源优化调度方法。该方法引入膜计算概念,将云计算下的海量资源调度的总任务划分为多个子任务,并详细计算每个子任务的资源调度任务量。将优化调度系统内部分解为主膜和辅助膜,利用蝙蝠算法在辅助膜内进行资源分配个体寻优,并将优化后的资源分配最优个体传送到主膜间进行云计算海量数据下的资源分配优化。实验仿真证明,基于改进膜计算蝙蝠算法的云计算海量数据下的资源优化调度方法调度效率高,分配较为均衡。