大数据环境下频繁项集挖掘的研究

多种频繁项集挖掘(FIM)方法组合用来对大数据进行挖掘会暴露很多问题。针对暴露的问题,在MapReduce平台上对两种频繁项集挖掘算法进行了研究。采用两种新的大数据集挖掘方法:Dist-Eclat和BigFIM,前者侧重于速度,利用基于k-FIs的简易负荷平衡方案来解决问题。而后者通过先验变体对k-FIs进行挖掘后将找出的频繁项集分配给映射程序,通过优化后在真正大的数据集上运行。最后通过实验证明该方法时间复杂度较低,数据量越大优势将越明显,扩展效果越好。

辨识舆情的迷幻脸谱 行业舆情形势解析及应对路线图

近两年来，随着以博客、微博、微信为代表的新媒体相继崛起和移动网络的迅速跟进，让所谓“自媒体”时代已然来临——个人都可自主发布，人人都是麦克风，个个堪称通讯社。更重要的是这个数字极其庞大——据统计，我国网民已达6．18亿，手机网民达5亿，而全国103家微博客网站的用户已达12亿，据说微信的用户数也已达到6亿。