一种消除孤立点的微博热点话题发现方法

微博具有数量多、字数少、话题广泛等特点,导致数据中孤立点较多,对微博热点话题聚类算法产生不利影响,为此,提出一种消除孤立点的微博热点话题发现方法。首先消除数据集中的孤立点,然后采用CURE(Clustering Using Representatives)算法对剩余有聚类价值的数据进行聚类,最后通过实例验证算法的有效性。结果表明,相对于对比聚类算法,该算法降低聚类结果对孤立点的敏感度,提高了微博热点话题发现的准确性,并提高了算法的运行效率,更适合应用于大规模的微博热点话题发现。

基于FCM并行算法的微博热点发现

微博作为发展最迅猛的信息传播平台,每天都会产生大量数据,迅速增长的数据对数据处理提出了新的要求。针对微博数据特点,对VSM模型进行改进,并在MapReduce平台上,设计微博热点话题发现并行模糊C均值(HTD-PFCM)算法。实验结果表明,基于改进VSM模型的HTD-PFCM算法具有良好的加速比,并且能够更高效地处理微博数据,发现微博热点话题。