基于Mahout框架的社交网络服务数据过滤算法

针对目前社交网络服务数据中充斥着大量垃圾数据和广告数据的现状,提出一种基于Mahout框架的数据过滤算法。首先,采用Mahout框架对原始数据中的语素进行分析,得出具有特定语素的单词;然后,根据语素分析结果数据分类生成器为每个生成的语素词分配相应的权重,并得出对应句子的评估值;最后,将评估值与不同类别数据的参考值加以比较完成数据的分类,从而实现社交网络服务数据中有价值数据的过滤。仿真实验结果表明,该算法具有较好的过滤效果。