“互联网+教育”下智慧校园数据存储平台的构建

“互联网+教育”的本质是教学和学习的数据化。为了应对智慧校园应用中海量数据的存储需求,需要构建易扩展的大数据存储平台,而HBase是一个构建在HDFS基础上基于列式的分布式存储架构,能够根据键值的大小,把数据分布到不同的存储节点上。为了支撑不同业务的分析以及性能方面的考虑,在数据存储平台的设计中,采用HBase+Hive+Redis相组合的解决方案,一方面可以实现复杂的统计分析和数据挖掘的目的,另一方面也提升了数据不同组合下的查询效率。

面向城市地质的大数据存储设计方法探究

继云计算、互联网和物联网的崛起之后,大数据技术已经渗透到各行各业中,再次掀起信息技术的重大变革。面对海量的、动态的及不确定的庞大地质数据,如何实现数据处理以及如何快速实时地从复杂的大数据中挖掘出有价值的信息,形成知识体系,完成实现数据共享,这些问题传统的技术已无法实现。本文以城市地质数据库的存储设计及数据管理为基础,总结了城市地质大数据的几种处理方式,通过建立和调取数据库中的数据,来建设城市地质资料大数据库,而城市地质资料大数据库将是未来城市地质调查行业的发展趋势和重要工作。

矿山信息的关联规则算法改进研究

为了分析矿山生产过程中各危险因素的依赖关系及危险源的重要程度,通过对传统Apriori算法的缺点进行分析,提出了一种改进的分布式并行算法。改进算法应用了MapReduce编程模型和HBase存储数据库,可以仅通过一次扫描实现对海量数据的挖掘,并减少了支持度计数的计算,极大提高了数据挖掘的效率,实现了矿山大数据的高效关联分析。

智能地质调查大数据应用体系架构与关键技术

地质调查数据主要由结构化和非结构化多样性的数据构成。由非结构化多样性数据文件组成的报告,由于技术原因,长期以来一直以传统的目录文件方式进行存储。这种存储方式导致数据的查询、统计、更新等操作不但低效,而且非常不利于检索、查询、挖掘等应用,使得数据服务能力极低。通过把Hadoop生态体系融入中国地质调查云平台架构,基于Hadoop HDFS和HBase存储架构,建立非结构化地质数据基础内容库存储组织模式,采用Lucene全文搜索引擎架和地质领域本体词库构建快速随机访问的索引文件机制,改变了多样化、碎片化的复杂地质调查非结构化数据的存储、阅读、搜索和应用模式,为智能地质调查提供精确、快速服务奠定基础。

基于云计算的地质大数据挖掘内涵

本文探讨了云计算背景下地质大数据挖掘的内涵,搭建了基于Hadoop融合多功能的地质大数据挖掘架构,剖析了大数据挖掘架构中每一层的工作流程。同时,在地质领域数据格式各异、条块分割严重、管理分散等现状的背景下,以地质大数据的存储及云计算技术为基础,总结了地质大数据的处理流程,指出了地质大数据挖掘领域的研究热点以及大数据挖掘面临的挑战。

大规模空间数据融合分析关键技术研究

首先,研究了基于HBASE存储技术的栅格数据,海量栅格数据存储拟基于分布式文件和分布式内存对象系统,采用纵向分层、横向分块的方式,将不同分辨率的栅格数据逐级等分,切分成256×256像素小影像数据,由顶向底构成数字影像分辨率逐渐增高的金字塔模型。由于遥感影像文件通常数据量较大,需要较大的内存时通常会采用压缩编码来减少存储空间,在GIS中多采用信息无损编码,而在对原始遥感影像进行压缩编码时,有时也采取有损压缩,拟采用Run-Length codes和Pack Bits想结合的方法对影像数据进行压缩,以提高压缩效率。其次,在研究地址模糊匹配算法的基础上,根据工商行业地址数据库特定存储格式,选取适于工商行业地址的拆分方案,提出一种分级结构的地址库的模糊匹配策略,以一票否决和模糊匹配共存的方式进行企业地理要素匹配,提高地址匹配的效率和准确度。另外,位置服务作为一种流行的基于上下文的推荐系统能根据用户当前位置信息推荐兴趣点数据。但是,这种内在特征导致泄露用户的敏感位置信息给不可信的位置服务提供者。我们主要关注了查询预测中的位置隐私问题,提出了一种新的位置隐私保护方案,并用实验评估了此方案的性能表现并展示了它的实用性。最后,我们研究了基于ITSS理论与用户运维管理最佳实践相结合的资源管控产品,它可以对客户整个IT资源的运行的状态、事件、故障、性能等进行全面监控。从业务角度帮助客户有效管理和优化IT环境的运营效率,实现IT基础架构的全方位监控,优化IT服务流程,提升IT服务质量。

建筑能源管理大数据平台设计

能源管理平台中数据存储、计算能力直接影响整个系统管理、分析的准确性,影响到整个运行系统维护和更新工作的成效,本文提出一种大数据平台设计方法,根据建筑能耗数据产量大、传输速率快、数据来源多等特征动态建模,构建Hadoop大数据管理平台,从系统体系结构、数据存储、查询处理等方面对基于大数据的公共建筑(群)能源管理大数据管理与处理平台架构进行分析。

基于安全散列算法的电子数据存证方法设计

传统的数据存证方法难以有效统一数据格式,容易出现数据处理结果不一致的现象。为了避免因此造成的存证效果差的问题,设计了基于安全散列算法的电子数据存证方法。根据安全散列算法实现消息处理,完成对填充位、消息长度、初始化缓存、消息主循环的处理,得到最简明的消息摘要,然后将大文件写入HDFS中,将小文件与信息摘要写入HBase中,并在设计HBase存储结构的基础上设计具体的存证流程。由测试结果可知,该方法不仅能够查看完整电子数据,还能够查看操作周期里的全部数据,具有高效的存证效果。

一种面向动态地球磁层的数据组织模型和高效检索

随着探测和考察手段的丰富,地磁观测数据大量增长且呈现出多源、多分辨率、异构等特点.传统的语义组织模型难以支持大规模异构数据的高效存储、处理与关联分析,应建立一种面向动态地球磁层的时空数据组织模型,在提高数据检索效率的基础上兼容多检索模式,以满足数据的高效检索、呈现、分析和过程事件的演化等应用需求.本文基于漂移壳对地球磁层进行多层级时空剖分及编码,实现了地球磁层时空框架的建模;结合多卫星能量粒子探测数据及辐射带粒子通量模型数据,设计了基于该时空框架的数据重组方案,进行了数据一致性验证;基于HBase数据库及HBase协处理器技术构建了重组方案对应的物理存储模型,并设计了查询算法用于对该模型进行实验验证.实验结果表明:本文提出的数据组织模型实现了数据和时空框架之间的有效映射,极大地提高了数据检索效率,并且兼容了语义检索、时空位置检索、时空关系检索等多种模式,为动态地球磁层大规模观测数据组织与高效检索提供了一种新方案.