基于核心词项平均划分相似度的短文本聚类算法

针对短文本特征极度稀疏、上下文依赖性强等特点,以自顶向下的策略,提出一种基于核心词项平均划分相似度的短文本聚类算法CTMPS。该方法首先在整个短文本语料库中计算词项之间的概率相关性,以此为基础对短文本中词项进行加权,将权值较大的词项作为最能代表该短文本的核心词项形成核心词项集;以信息论为基础,将核心词项作为划分依据计算平均划分相似度,选择平均划分相似度值最大包含该核心词项的短文本形成一类,用此策略反复迭代直到满足要求。最后,实验结果表明,本文提出的方法显著地提高了短文本聚类的性能。

基于分类规则的C4.5决策树改进算法

为解决大样本数据条件下C4.5决策树算法需要训练集常驻内存、分类精度达不到需求以及如何选取最优分类规则等问题,提出了一种基于分类规则选取的C4.5决策树改进算法。通过数次有放回的随机抽取训练集形成多个分类规则,在多次分类规则内寻找特征的最优取值以建立最优分类规则,以划分相似度为标准进行C4.5决策树最优特征选取,在此基础上利用选定的最优分类规则和最优特征对C4.5决策树算法进行改进。实验结果表明,改进后的算法可有效解决C4.5决策树与初始训练集相关性较大的问题,对大样本数据集的分类识别在识别率上有显著提高,训练时间明显减少。

一种基于关键域子空间的离群数据聚类算法

离群数据发现与分析是数据挖掘的重要组成部分,现有离群数据挖掘算法主要针对如何检测离群对象,缺乏对挖掘出的离群数据集进行解释与分析的有效方法.通过对离群数据来源及特性进行分析并结合粗糙集理论,定义了离群划分相似度的概念,提出了一种基于关键属性域子空间的离群数据聚类算法COKAS,该算法不仅揭示了离群数据子空间特性,进一步获取了扩展知识,而且有助于对整体数据集的理解.对两个多维数据集的实验结果表明,该算法具有良好的适应性及有效性.

基于幂图的离群子空间搜索算法

通过分析子空间搜索算法的研究现状以及存在的问题,提出基于幂图的离群子空间搜索算法。该方法主要讨论离群点产生的原因,能够找出单个对象的离群子空间,并根据离群子空间对离群点进行分类。在对幂图扩展的基础上进行剪枝,减少了存储量和计算量,算法性能得到很大的提高。采用实例说明了该算法,并通过实验证明了该算法的可行性和高效性。

一种基于调和均值的模糊聚类算法

k 调和均值算法用数据点与所有聚类中心的距离的调和平均替代了数据点与聚类中心的最小距离,是一种减小初始值影响聚类结果的有效的聚类方法。本文对 k 调和均值算法进行扩展,考虑到数据点同时对不同聚类的隶属关系,将模糊的概念应用到聚类中,提出了模糊 k 调和均值—Fuzzy K-Harmonic Means(FKHM)算法。在中心迭代聚类算法的统一框架的基础上,推导出 FKHM 算法聚类中心的条件概率表达式以及在迭代过程中的数据点加权函数表达式。以划分相似度作为聚类结果的评价准则,实验表明,FKHM 算法在聚类对于初值不敏感的同时提高了聚类结果的精确度,达到较好的聚类效果。

属性网络中结合用户偏好的社区搜索和离群点检测

社区搜索是备受关注的网络分析任务之一,旨在搜寻包含查询节点的局部社区.现有大多数社区搜索方法多面向简单网络且仅能定位查询节点所在社区,未能在搜索过程中考虑用户偏好.为实现利用用户偏好指导搜索过程并搜寻用户感兴趣的多社区,设计了属性网络中结合用户偏好的社区搜索和离群点检测方法,旨在通过较少的查询节点有效的捕获用户偏好并自动探索网络中的社区,同时识别社区中离群点.具体而言,通过编码查询节点及其邻居间的显式交互关系和相似属性以突出局部结构,利用其来挖掘潜在查询节点候选集成员.在查询节点候选集上定义平均划分相似度以推断属性子空间为用户潜在兴趣.采用属性和结构约束来搜索网络中的多社区和离群点.此外,真实数据集和人工数据集上的大量实验证明了所提方法的有效性.