分布式数据挖掘中的最优K相异性取样技术

为了弥补基于集中式处理的分布式数据挖掘方法的不足,有效地实施分布式数据挖掘(DDM)任务,需要一种能从分布式数据源中获取多样化代表性取样集的技术.提出了一种新的适用于分布式数据挖掘环境的数据取样算法(OptiSim-DDM方法),算法核心是基于最优K相异性进行数据选择,采用移动Agent技术和扩展的最优K相异性数据多样化代表性子集选择方法,能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集.该方法通过降低所挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度,降低网络通讯代价,提高数据挖掘的执行效率,适合于各场地数据是互相关联和互相依赖的分布式数据挖掘任务.实验结果证实该方法是可行、有效的.

基于相异性选择的密度聚类算法研究

在最优K相异性算法(OptiSim)的基础上,提出一种扩展的最优K相异性算法(EOptiSim),由于EOptiSim在处理组合数据库和分布式数据库方面能弥补基本的OptiSim方法的不足,所以通过在DBSCAN算法之前应用OptiSim或EOptiSim多样化代表性子集选择技术,在显著降低I/O耗费和内存需求的同时,不仅能够有效地聚类单一的大规模空间数据库,而且还能聚类大规模组合数据库或分布式数据库.实验结果表明本文的算法是可行、有效的.

自调优自适应遗传算法的WKNN特征选择方法

针对大多已有基于K近邻和遗传算法的特征选择方法中没有考虑各个特征的重要度不同,并且容易出现过早收敛,特别是局部最优解问题,提出了一种基于自调优自适应遗传算法的WKNN特征选择方法。该方法使用WKNN算法预测样本的类别,为每个特征分配一个权重来衡量特征的分类能力,然后采用自调优自适应遗传算法,对变异率、种群规模和收敛阈值进行参数调整,在迭代进化过程中搜索最优特征权重向量。为了评价该方法的有效性,与已有7种特征选择方法在5个标准数据集上进行了比较。实验结果表明,该方法是有效的,且具有较高的分类性能。

一种基于K2结构学习算法的石漠化数据特征选择方法

在石漠化信息的分类和提取过程中,冗余特征的存在影响分类器的性能,同时增加计算的复杂度。提出一种基于K2结构学习算法的石漠化数据特征选择方法,该方法通过B IC评分方法得到贝叶斯网络的结构,从中获得类节点的马尔可夫覆盖,继而进行特征选择。同时借用不同评分函数的等价性来确定结构学习时所需的样本数,并且给出了样本数的参考。实验表明,该方法由于结合了样本的分类信息,获得的特征子集是最优的,显著提高了分类精度,降低了计算复杂度。

基于障碍物群的k全局相异最优有序路径查询

提出障碍k全局相异最优有序路径的查询问题,利用可视图的思想给出近似查询算法,通过作用集与障碍角度点的引入有效地减少构造可视图障碍对象的数量,分析查询点和数据点构成的线段与可视图的顶点和弧的关系,减少内部障碍路径的计算次数,实现算法的全面优化。实验结果表明,该算法具有较好的性能。

课程推荐预测模型优化方案及数据离散化算法

本研究基于k-NN算法建立了课程推荐预测模型.由于原始样本数据的局部不均衡和数据叠交性,预测模型在不进行任何参数调整和数据优化的情况下,模型预测评分并不理想.针对上述问题,本研究设计了一套预测模型参数优化方案和样本数据优化方案,包括最优k值选择算法设计、距离公式优化、数据离散化算法设计.本研究提出的"数据离散化算法"驱使kd树的分类空间排序按照我们期望的特征向量的权重排序,该算法对提升模型预测评分起到了积极作用.上述优化方案和算法设计使课程推荐预测模型的评分从0.67提升到0.85,预测结果的准确度提高了27个百分点,学生对课程推荐的满意度得到显著提升.

一种基于划分的混合数据聚类算法

在实际应用领域,常常存在同时包含数值型和分类型特征的混合数据。然而,已有的大多数聚类算法只能处理数值型或分类型单一类型数据,因此,提出一个基于划分的混合数据聚类算法。首先给出K-Prototypes算法中分类型数据类中心的多Modes表示方式,进而将传统的欧式距离扩展到混合数据,使之能够在相同框架下更加精确地反映对象与类之间的相异性,在此基础上提出一个用于处理混合数据的划分式聚类算法。最后,在UCI数据集上的实验结果表明,与K-Prototypes算法相比,所提出的算法能够有效提高聚类质量。

位置不变的右截断Hill型估计量

当极值指标大于0时,提出了一种位置不变的右截断Hill型估计量,证明了该估计量的弱相合性,给出了其渐近展式,并对k的最优选择进行了讨论.