大数据环境下相容数据集的关联规则数据挖掘

在对不可连接数据集充分分析的基础上,给出基于不可连接数据集的相容数据集和不相容数据集2个定义,给出相容数据集的一些基本理论,在这些理论基础上给出一个基于相容数据集的关联规则挖掘方案,实现每个相容数据集挖掘的关联规则直接合并,生成整个相容数据集的关联规则,实现普通数据挖掘算法无法实现的关联规则挖掘.方案扩展了关联规则算法的应用领域,提高了数据挖掘效率,在一定程度上也实现了隐私保护.

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题,提出了基于Rough集的决策树算法.采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式,该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力,并且比信息增益和信息增益率的计算更为简单采取了一种新的剪枝方法——预剪枝,即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式, 以更有效地消除噪音数据对选择属性和生成叶节点的影响.采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法,从而使算法对相容和不相容数据都能进行有效处理.对UCI机器学习数据库中几个数据集的挖掘结果表明,该算法生成的决策树较ID3算法小,与用信息增益率作为启发式的决策树算法生成的决策树规模相当.算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则,并易于利用数据库技术实现,适合大数据集.

Rough集在不一致决策树生成中的应用

现实世界中存在大量不相容数据.基于Rough集的有关理论,提出了一个在决策树生成过程中简单高效的识别、处理不相容数据,生成不一致决策叶节点的方法,并引入决策质量参数来刻画不一致叶节点,从而为利用决策树推理和决策提供更多有用信息.将这些方法结合进ID3算法,使算法对相容和不相容数据均可进行有效地处理.

一道中考试题的错误剖析、探究及修正

在分析一道中考试题的图形和数据时,发现其中出现了数据不相容的错误,通过探究得到了关键数据的相容关系,并给出了该题的几种修正方案.