基于排名分布的异构信息网络协同聚类算法

异构信息网络聚类问题是一个新兴问题.最近提出的排名聚类算法将之前看似完全无关的排名与演化聚类方法结合在一起,相互加强,为异构网络的挖掘提供了一种新思路.然而排名聚类算法仅仅完成异构信息网络中特定目标类型数据的聚类,其聚类结果无法涵盖完整的异构网络结构和异构类型数据.引入协同聚类方法,将排名与协同聚类相结合,本文提出一种Rank Co Clus算法,首先由基于后验概率的排名分布生成模型得到排名分布矩阵,然后使用协同聚类方法对不同类型的对象同时聚类,一方面可以实现异构信息网络中不同类型节点的同时聚类,另一方面也能提升异构类型数据聚簇结果的一致性关联.真实DBLP四领域数据集及人造数据集上的对照实验结果表明,Rank Co Clus算法在准确性和聚簇一致性等方面较排名聚类及协同聚类算法均有更好的性能.

基于Hadoop的动态网络异常节点智能检测方法

针对网络流量的急剧增加,导致网络集群中存在异常节点,降低了网络的运行效率等问题,提出基于Hadoop的动态网络异常节点智能检测方法。对Hadoop的生态体系结构进行分析,并详细描述了HDFS、MapReduce和NetBASS框架。采用Zipf排名分布对网络节点总流量进行统计,通过标准差系数对节点参数的稳定性和离异程度进行评价。为了使聚类效果更加稳定,使用新的均衡化函数作为数据的收敛函数。将异常节点检测分为节点检测和异常点定位两部分进行,诊断系统通过对Hadoop运行日志的实时检测来计算逻辑,系统通过作业中节点的表现情况,结合性能指标分析出该节点异常的原因,同时将map与reduce任务一起考虑的方法降低节点的耦合性。实验结果表明,通过在运行负载前和运行负载时故障的引入测试,验证了所提方法不仅能够准确的检测出异常点,而且有效性得到显著提高。