大数据与数学地球科学研究进展——大数据与数学地球科学专题代序

大数据与数学地球科学的核心应用技术包括高维数据降维、图像数据处理、无限数据流挖掘、机器学习、关联规则算法与推荐系统算法等。人工智能地质学,包括大数据-智能矿床成因模型与找矿模型的构建,是具有重要价值的研究方向。高维数据降维旨在从初始高维特征集合中选出低维特征集合,有效地消除无关和冗余特征,增强学习结果的易理解性。哈希算法、聚类分析、主成分分析等是较常用的数学降维工具。机器学习是人工智能的核心,是使计算机具有智能的根本途径。机器学习与人工智能各种基础问题的统一性观点正在形成。深度学习的训练模型往往需要海量数据作为支撑,因此迁移学习方法日益受到重视。图像模式识别是大数据挖掘的重要技术。网络中的社区结构识别对理解整个网络的结构和功能有重要价值,可帮助分析、预测网络各元素间的交互关系。沉浸式虚拟现实技术是实现大数据可视化的重要方向,对具有多元、异构、时空性、非线性、多尺度地质矿产勘查数据的展示要求有特别的价值。引入VR技术进行矿产地质大数据的可视化,可实现大数据时代矿产勘查数据的新认知。无限数据流在地质、地球化学、地球物理监测中大量存在,甚至可以持续自动产生。对数据流数据的计算包括对点查询、范围查询、内积查询、分位数计算、频繁项计算等。关联规则和推荐系统算法是大数据挖掘中的重要算法,其应用范围越来越广泛。贝叶斯原理在大数据时代有独特的价值,贝叶斯网络是成因建模的一个革命性工具。智能地质学研究刚刚起步,构建大数据-智能矿床成因模型与找矿模型是智能地质学研究的重要内容。矿床模型研究方式的变革,将出现于互联网、云计算技术环境下全球各地的矿床研究团队的共同参与。

网络流量分析中的频繁项监测技术研究

无限数据流中频繁项监测问题定义为对给定输入数据流在任意时刻输出一个当前所有输入数据项中出现频率超过阈值的频繁数据类型及频率值的列表,它对于大规模网络流量分析具有重要意义。本文基于网络报文流分析的应用需求,归纳出一般意义上的报文流分析模型和频繁项监测问题抽象定义,并据此对当前典型的频繁项监测算法进行分析比较。本文还提出一种在有界存储中进行频繁项监测的高精度改进算法,实验结果表明该改进算法满足高速网络报文流的应用需求。