多源异构环境下基于层次约简分类的大数据清洗方法研究

大数据清洗是数据分析与应用的关键环节之一,针对传统大数据清洗方法缺陷提出一种基于层次约简分类的大数据清洗方法研究。利用大数据清洗原理先判定数据集的属性类别,并建立层次约简分类模型,按照大数据集中值域范围最广的属性确定字符串之间的编辑距离,遍历掉重要性和相关性较弱的干扰数据;采用逆文本词频分割的方式,对大量的冗余数据做聚合处理,进一步降低大数据集冗余程度。实验结果表明,提出方法在数据清理运行时间、查全率和查准率等指标控制方面均有优势。

双精度容差关系的粗糙集拓展模型及约简

研究了不完备区间值信息系统,提出新的改进模型.首先给出了基于相离度的相似度定义,使得模型可以处理属性值大多数相交但不具备包含关系以及含多个连续值的情形.其次,将容差关系进行拓展,提出了基于相似度和相似率的双精度容差关系,进而建立了适用于不完备区间值信息系统的粗糙集拓展模型.再次,为解决双精度容差关系在划分论域时的不足,提高近似精度,又求出了双精度极大相容类,据此来得到上下近似集,并给出了极大分类约简算法.最后,通过实例分析验证模型和算法的有效可行性.结果表明,所提出的粗糙集拓展模型适用的不完备区间值数据类型更为广泛,可用于处理一般的不完备区间值信息系统,拓展了粗糙集的适用范围.

基于对象导出三支概念格的形式背景粒约简方法

形式背景的属性约简是形式概念分析的重要研究方向。研究者针对形式背景提出了多种属性约简标准并建立了属性约简方法。文中研究了形式背景基于对象导出三支概念格的约简问题,通过刻画对象之间的区分属性提出了一种新的粒约简计算方法,该方法无需构造基于对象导出的三支概念格;同时,证明了基于三支概念格的形式背景粒约简与基于粗糙集理论的分类约简等价。

一种基于粗集理论的分类规则挖掘的实现方法

研究各种高性能和高可扩展性的分类算法是数据挖掘面临的主要问题之一。基于粗集理论的分类规则挖掘是一种重要的方法 ,在分析有关算法的基础上提出一种改进方法 ,并通过实例证明了该方法的效率有所提高。此外 ,还提出了一种分类规则约简方法 ,使挖掘的结果更简洁、更易理解。

基于形式背景的属性约简关系

基于形式背景,提出面向属性的概念格的粒协调集及粒约简的概念,给出面向属性的粒协调集判定定理,并借助区分属性给出面向属性的粒约简计算方法,讨论了形式背景的粒约简、面向属性的粒约简以及分类约简之间的关系,证明了面向属性的粒协调集都是分类协调集。最后以实例说明相关约简的计算方法。

基于粗糙集不确定度的特定类属性约简

粗糙集属性约简是数据分析的有效手段,传统决策分类属性约简适用于所有决策类优化,实际应用还需要考虑单个决策类优化的特定类属性约简.基于粗糙集不确定度构建,对比决策分类属性约简,提出特定类不确定度属性约简并研究约简相关关系.分解决策分类不确定度,获取决策类不确定度及其粒化单调性等性质,提出相应的特定类不确定度约简及其启发式约简算法,得到特定类不确定度约简与特定类正域约简、决策分类不确定度约简的关系.新建的特定类不确定度约简具有改进性,适用于特定决策类的优化处理与不确定性应用,决策表实例验证了相关算法与关系的有效性.

带权决策表的属性约简

属性约简是粗糙集理论的重要应用。考虑将决策表中的每行都作为一条决策规则时,若把表中出现相同决策规则的次数作为权,可得到带权决策表。提出了关于带权决策表的正域约简相应的辨识矩阵并给出了证明,从而得到了约简算法。相比于决策表中的正域约简时发现,通过将决策表转化为带权决策表后,再利用算法1进行约简时,其在一定程度上优于前者。提出了近似分类精度约简相应的辨识矩阵并给出了证明。对于2个算法,在选取的UCI数据集上进行了实验验证。通过实验进一步说明了所提出算法的可行性和有效性。

基于单调信息度量的特定类属性约简

邻域粗糙集中属性约简的主流是基于决策表宏观高层的分类属性约简,但分类属性约简不能反映每个决策类的特殊性,而只反映所有决策类的平均性,具有应用局限.因此,利用已有的信息度量,从层次视角研究基于决策表中观中层的特定类属性约简.首先,提出基于中观中层条件邻域熵的特定类属性约简定义,并设计基于属性重要度的特定类属性约简启发式算法;其次,讨论特定类约简和分类约简的关系;最后利用实例对以上算法和关系进行验证说明.