数据挖掘中的数据预处理

1 引言数据挖掘(Data Mining,简称DM),也称为数据库中的知识发现KDD(Knowledge Discovery inDatabase),是近几年来随着数据库和人工智能发展起来的一门新兴的数据库技术。其处理对象是大量的日常业务数据,目的是为了从这些数据中抽取一些有价值的知识或信息。原始业务数据是知识和信息提取的源泉,对于数据挖掘就显得十分重要。目前所进行的关于数据挖掘的研究工作,大多着眼于数据挖掘算法的探讨,而忽视了对数据处理的研究。

基于粗糙集理论的数据挖掘算法及其应用研究

文章对粗糙集理论及其应用进行了讨论，在分析和综合基于粗糙集理论的数据挖掘算法基础上，提出了新的遗传算法挖掘方法，并就应用模型和应用领域及方法问题进行了分析。通过应用实例表明，文章提供的方法和技术是可行的，具有较大的参考价值。

数据挖掘和数据仓库及其在电信业中的应用

介绍了数据挖掘和数据仓库技术的类型、结构和方法 ,并探讨了它们在电信业中的应用 ,最后对数据挖掘和数据仓库在我国的发展提出了建议。

基于机器学习的入侵检测技术概述

基于机器学习的入侵检测方法是大规模、高带宽网络环境下实现对网络攻击智能检测的关键技术之一。该文对目前主流的基于机器学习的各种入侵检测方法进行了简要介绍和评述,并结合网络攻击的发展趋势,阐述了入侵检测机器学习方法的发展方向。

基于数据挖掘模型的高压输电线系统故障诊断

在大多数故障诊断系统中 ,由于诊断所依据的实时信息在其形成和传递过程中都有可能产生信息的畸变 ,从而导致故障诊断结果的错误。文中提出利用基于粗糙集理论的数据挖掘模型来处理实时输入信息的畸变和实现输电线系统的故障诊断 ,它是依据粗糙集定性分析能力对知识域的数据集进行分析 ,粗糙集的约简是通过遗传算法求取。还给出了构造测试样本的理论准则 ,从而使检验故障诊断系统的容错性能具有保证和真正的实用价值。通过仿真测试证明 ,基于数据挖掘模型的故障诊断与基于神经网络模型的故障诊断相比 ,具有更高的容错性能。

基于数据挖掘技术的负荷预测模型

为有效选取预测变量和训练模式、提高预测精度,提出了一个基于数据挖掘技术的负荷预测模型.该模型首先利用粗集理论和遗传算法选取与负荷相关的预测变量,再选取与预测日相似的训练模式,最后用神经网络对负荷进行预测.实际运行结果表明将该模型应用于电力系统负荷预测是可行的,其与传统的神经网络预测模型相比具有更高的预测精度.

基于属性约简的海事人为失误致因分析

为寻找1种处理简便且行之有效的分析海事人为失误致因的方法,引入基于属性约简的粗糙集数据挖掘方法,使用开源粗糙集工具RSES对导致瞭望不当行为的30种影响因素数据进行分析,通过基于遗传算法的属性约简方法得到主要因素.试验结果证明,在分析海事人为失误主要因素的过程中,利用粗糙集的属性约简方法可简化分析并提高分析的准确性和直观性,为海上交通的有效管理提供决策依据.

基于粗糙集和遗传算法的知识发现方法

粗糙集理论是一种处理不确定和不精确问题的新型数学工具,为数据挖掘提供了一条崭新的途径。提出了结合粗糙集理论和遗传算法的知识发现方法。首先通过粗糙集理论对数据进行预处理,在实现属性约简中采用了遗传算法,以提高搜索效率,然后进行规则提取。以农业病虫害诊断知识发现应用为实例说明了该方法的可行性。

基于粗集的遗传挖掘在故障诊断中的应用研究

介绍应用粗集理论和遗传算法相结合进行数据挖掘的方法。利用目前企业采集到的关键设备运行状态的大量数据,首先运用粗集理论的属性约简消去冗余的属性,然后以约简后的数据作为样本训练集,应用优化改进的遗传算法建立分类模型。根据构建的分类模型,可以发现故障设备运行的内在规律,快速对未知故障设备进行归类,从而为故障诊断与故障预测提供决策依据。

数据挖掘在短时交通流预测模型中的应用研究

为准确地对交通流进行短时预测,提出了一种新的基于数据挖掘技术的预测模型。该模型综合了改进遗传算法、粗糙集理论和小波神经网络三种数据挖掘技术。建模阶段分为离散化、属性约简和训练三个步骤。在离散化的过程中,采用了改进的遗传算法,保证了系统分类能力,且使断点数目最少;属性约简中采用了粗糙集理论,选择对交通流预测密切相关的属性,加速了小波神经网络的预测速度并使其结构简化;训练中利用了小波变换非线性特性,采用经过属性约简后的数据对小波神经网络进行训练,从而获得短时预测模型。为验证模型的有效性,进行了对比测试,分析结果证实了该预测模型比传统方法具有更高的精度和速度,为交通流的准确实时预测提供了一种新的思路。

基于小生境遗传算法的知识约简方法

提出基于小生境遗传算法的知识约简算法,利用遗传算法的搜索寻优技术,可以得到多种约简属性集。实验证明,该算法是有效的,它可以解决启发式算法不能解决的部分问题,并能求解出知识系统中存在的不同约简,从而为特征提取、决策支持和数据挖掘等提供更多的信息。

一种基于粗糙集和遗传神经网络的数据分类器模型(英文)

为了实现对无线传感器网络监测得到的高维冗余且不确定的数据进行分类识别,提出一种由遗传算法和粗糙集进行优化的BP神经网络数据分类器模型,并形成了数据挖掘分类算法。该模型通过粗糙集理论的属性约简算法删除训练样本的冗余属性,利用遗传算法对神经网络的权值和阈值进行优化,并进行神经网络学习。数据挖掘分类算法学习速度快,能够有效提高无线传感器网络中数据的分类效率。

基于小生境遗传算法的粗糙集属性约简方法

针对遗传算法在全局优化问题中出现的早熟和收敛速度慢的问题,提出一种基于小生境遗传算法的粗糙集属性约简算法,采用基于淘汰相似结构机制的小生境技术,通过引入罚函数的方法调整个体的适应度,提高全局搜索能力。实验证明该算法是有效的,并能求解出信息系统中多组不同的最小约简,为决策支持和数据挖掘等提供更多信息。

基于粗糙集理论的软计算融合系统研究综述

面向数据挖掘领域,综述了基于粗糙集理论的软计算融合系统的研究进展,按照粗糙集在这些系统中的数据预处理、不确定性度量和知识抽取功能,分别总结了这些系统的特点,指出了现有系统面临的问题以及今后的研究方向.

无线传感器网络中分布式数据挖掘算法研究

研究无线传感器网络中数据挖掘问题。针对大量高维冗余且不确定的无线传感器网络监测数据传送到中央服务器上使用传统的数据挖掘方法进行挖掘的缺点相当明显,导致耗费了珍贵的网络能量。为解决上述问题,提出在每个传感器节点上进行基于粗糙集与遗传BP网络相结合的分布式数据挖掘算法,利用GA来训练BP网络的阈值和权值来构成遗传BP网络(GABP),克服BP网络的某些不足;利用粗糙集RS在消除冗余信息、处理不确定性数据等方面的优势,缩减训练数据输入BP网络的维度。仿真结果表明,改进算法能有效地实现对无线传感器网络中的数据进行分类,取得了较理想的效果。

基于粗集理论的最小化决策模型

随着Internet的出现 ,信息过量已经成为电子商务经营决策人员必须面对的问题。如何才能在大量的可用信息资源中及时发现有用的知识 ,已经引起了广泛关注。粗集理论在数据挖掘环节中的应用 ,提供了应用处理模糊和不确定知识的数学工具 ,获取知识、精炼知识和实现知识增值的方法。在粗集基本概念的基础上 ,探讨了根据粗集理论分析处理信息、提取有用特征的方法 ,以及通过分析、推理产生最小决策规则的方法。

电网故障诊断研究方法

介绍了电网故障诊断的研究目的和意义,对国内外电网故障诊断的研究方法进行了叙述,并分析了各种研究方法的特点和适用场合,最后指出了该领域的主要问题和未来发展的趋势。

基于数据挖掘的CRM系统研究

随着市场竞争越来越激烈,CRM成为企业提升竞争力的重要手段,如何从现有庞大的客户数据中挖掘出对决策有帮助的信息,是现在企业极为关切的方向。文章通过研究数据挖掘模型特点,重点分析3种数据挖掘算法,提出了利用COBWEB算法和粗集结合的方法对客户价值进行聚类分析,利用遗传算法对客户需求进行预测,最后对CRM系统总体结构进行了描述和设计。

基于遗传算法的误差因子粗糙集模型

粗糙集方法是数据挖掘的重要方法之一。针对当前粗糙集属性约简启发式方法的不足,本文提出了一个基于遗传算法的误差因子粗糙集模型。通过融合遗传算法,消除属性简约中约简属性相对集中的问题。通过引入误差因子,消除噪声数据的影响。利用关系型数据库的关系演算实现了算法,克服了基于文本方法的不足。通过一个含有噪声的决策表实验,表明该模型是一个有效的算法改进。

基于幂集演化的属性约简方法

提出了一种基于幂集演化的属性约简方法,该方法作为一种基于遗传算法的属性约简的改进方法,编码方式采用在属性集的幂集空间上进行直接编码,由于其编码具有不定长的特性,因此在遗传操作策略上采取了一种与二进制编码完全不同的交叉和变异策略,使得该方法在选取合适评价函数的权重参数时,能明显加快算法的收敛速度。