基于模糊关联规则的海量数据挖掘方法研究

针对传统的数据挖掘方法一直存在计算时间复杂度较高,耗时长的问题,提出基于模糊关联规则的海量数据挖掘方法,首先通过对模糊理论、关联规则挖掘、模糊关联规则挖掘进行分析,实现对模糊关联规则的论述,在此基础上,将海量数据进行模糊化处理,建立模糊数据库,并对模糊数据库中模糊数据进行分类聚集,以及连续属性离散化处理,确定模糊数据库的频繁关联规则,从而实现基于模糊关联规则的海量数据挖掘方法.实验结果表明,所提方法能够降低数据挖掘消耗的时间及内存,且进行数据的挖掘支持度较高,为数据挖掘提出新的思路.

基于K-mean聚类算法的海量数据分析方法

海量数据高效精准聚类是信息时代数据内部知识深度挖掘的基本要求.文章首先在Hadoop分布式并行处理框架下运用MapReduce模型运行K-mean聚类算法,再利用遗传算法将K-mean聚类算法的聚类问题转化为求极值问题,解决聚类中心确定的随机性.经测试,此方法在聚类效率与聚类精度上取得了理想效果,对深度挖掘数据内部知识规律有所效用.

处理走航式海洋多参数剖面测量系统(MVP)温度和电导率滞后效应的方法

走航式海洋多参数剖面测量系统(moving vessel profiler,MVP)是一种集成程度和自动化程度都较高的海洋调查设备,能对海洋多要素进行同时观测,获得水平方向的高分辨率数据资料。由于温度和电导率传感器响应时间的不匹配,MVP下放速度过快(峰值速度4 m/s)而造成非常明显的盐度尖峰现象。本研究结合Fofonoff(F)法、时间常数指数递归数字滤波(Giles and McDougall,GM)法和Grose提出的盐度尖峰订正方案,提出了一种新的方法,即MCT(match conductivity and temperature response time)法,通过对压力、温度和电导率传感器进行响应时间的匹配来减弱盐度尖峰。将SBE-9型CTD资料作为标准,发现订正后的资料与CTD盐度曲线的互相关系数为0.917,误差比订正前减小80%。对比35°N断面修正前后的盐度资料,订正后温盐跃层处出现的低盐区域消失。MVP的应用比常规海洋调查仪器CTD对于海洋现象的观测更有优势。

港口流动机械远程监测数据的统计分析研究

详细阐述港口流动机械远程监测系统的数据分类,介绍动态曲线图技术,并通过典型例子描述MSCHART控件如何解决复杂和海量数据的统计分析难题。