高维数据下基于云平台的随机森林算法的研究与实现

随机森林算法在数据挖掘领域中得到了广泛的应用,该算法通过构建多个不同的决策树可以获得更高的分类结果。但是,随着数据规模的增大,人们开始接触到各大规模的数据以及更高维度的数据属性。传统的随机森林构建算法不能有效、快速地处理海量高维数据,严重影响了数据的分类效率,从而影响预测效率。本文针对高维、海量数据下随机森林构建算法,改进并提高了该算法的效率,提出了基于云计算平台的随机森林构建算法。该算法可以快速的完成数据分类预测,并通过实验结果进一步展示了该算法的效率以及可扩展性。

多级地理空间网格框架及其关键技术初探

为了有效管理、组织和利用海量空间数据,解决存储架构与现有空间数据结构不一致的矛盾,在融合国内外各种球面剖分模型优点基础上,设计了一种多级地理空间网格框架。该网格框架以地图分幅划分方式为基础,利用经纬度间隔对全球进行层次性剖分,形成遥感数据、测绘数据及其他空间数据的统一组织框架。通过对网格单元的地址与属性编码,实现空间数据的直接存储和索引,从而完成对空间信息的无缝拼接与多尺度管理。最后阐述了实现地理空间网格框架的关键技术,包括空时一体化技术、计算集群存储技术和空间索引技术等。

大规模煤炭数据下分布式神经网络算法的研究与实现

文章针对海量规模数据,提出了基于云计算平台的分布式神经网络算法,该算法能够分布式的完成神经网络的构建,最终准确地进行分类预测。实验部分的结果用数据进一步表明了文章提出的算法具有很高的效率,与传统算法相比有很高的加速比及很好的可扩展性。

基于Mapreduce的权重集成算法在煤炭行业数据处理中的应用

集成算法通过将多个分类器集成起来,能够有效地提高分类算法的预测精度。集成算法在煤炭开采、预测中也得到了广泛地应用。基于权重的集成算法是通过赋予不同分类器权重,进一步改进了集成算法的性能。但是,由于集成算法需要对多个分类器构建模型,随着数据规模的增大,传统的集成算法不能快速、有效地完成集成学习工作。本文针对煤炭领域中的大规模数据,提出了基于MapReduce分布式框架的分布式权重集成算法,该算法分布式完成集成的及预测工作。通过大量的实验结果进一步证明了本文提出的算法具有很高的效率以及很好的可扩展性。

可扩展双向聚类算法在煤炭领域中的研究与实现

随着现代信息技术的发展,各行各业产生了大量的高维数据,用不同的属性描述数据。煤炭产业也产生了大量的高维数据。煤炭企业的管理者往往希望从这些海量高维数据中得到更多的隐藏价值的知识。双向聚类算法被广泛地应用在各个领域中,该算法能够准确地完成聚类。随着数据规模呈现指数级地增长以及数据维度的增加,传统双向聚类算法不仅不能快速完成数据聚类,而且不能有效地处理高维数据。文章针对海量高维数据,提出了可扩展的基于高维数据的分布式双向聚类算法。通过实验结果展示了文中提出的算法具有很好的聚类结果以及很高的加速比及可扩展性。

图形图像融合的海量建筑绘制

目的城市3维模型数据海量且结构复杂,缺乏一个高效完善的可视化系统往往是影响数字城市应用的瓶颈之一。通常利用多层次细节(LOD)与调度算法减少每一帧绘制的数据量来提高绘制效率,当场景规模足够大时,即使采用复杂的优化算法也难以取得较好的效果。为此,本文在传统算法基础上,提出一种图形图像融合的海量建筑物场景绘制方法。方法提出并采用视域分级绘制策略,将视椎体平行分割为感兴趣区域、次感兴趣区域和非感兴趣区域,感兴趣区域采用图形实时绘制方法,使用离屏渲染技术将次感兴趣和非感兴趣区域绘制在纹理图像中,每一帧绘制完成后将二者进行顾及深度信息的融合,实现完整场景渲染。结果使用公开的纽约市区CityGML文件作为实验数据,数据包含了118 195个LOD1和LOD2级别的建筑物模型。分别构建多组不同建筑数量的场景进行帧率统计实验,绘制帧率都达到20帧/s以上。算法实现了视觉无损失的场景完整渲染,并与Cesium平台进行对比实验,证明算法有效且系统运行流畅。结论图形图像融合的绘制方法,既保持了图形渲染的漫游连续性,同时也具有图像渲染的场景复杂度无关的优点。实验结果表明,针对大规模的低分辨率建筑模型场景,算法可以有效提高系统的渲染能力,在性能相对较低的硬件条件下也能实现海量建筑物实体模型的流畅漫游,并达到视觉无损失的场景完整绘制。