基于核心词项平均划分相似度的短文本聚类算法

针对短文本特征极度稀疏、上下文依赖性强等特点,以自顶向下的策略,提出一种基于核心词项平均划分相似度的短文本聚类算法CTMPS。该方法首先在整个短文本语料库中计算词项之间的概率相关性,以此为基础对短文本中词项进行加权,将权值较大的词项作为最能代表该短文本的核心词项形成核心词项集;以信息论为基础,将核心词项作为划分依据计算平均划分相似度,选择平均划分相似度值最大包含该核心词项的短文本形成一类,用此策略反复迭代直到满足要求。最后,实验结果表明,本文提出的方法显著地提高了短文本聚类的性能。

属性网络中结合用户偏好的社区搜索和离群点检测

社区搜索是备受关注的网络分析任务之一,旨在搜寻包含查询节点的局部社区.现有大多数社区搜索方法多面向简单网络且仅能定位查询节点所在社区,未能在搜索过程中考虑用户偏好.为实现利用用户偏好指导搜索过程并搜寻用户感兴趣的多社区,设计了属性网络中结合用户偏好的社区搜索和离群点检测方法,旨在通过较少的查询节点有效的捕获用户偏好并自动探索网络中的社区,同时识别社区中离群点.具体而言,通过编码查询节点及其邻居间的显式交互关系和相似属性以突出局部结构,利用其来挖掘潜在查询节点候选集成员.在查询节点候选集上定义平均划分相似度以推断属性子空间为用户潜在兴趣.采用属性和结构约束来搜索网络中的多社区和离群点.此外,真实数据集和人工数据集上的大量实验证明了所提方法的有效性.