基于Apriori算法与MapReduce优化模型的并行式数据聚类方法

针对Apriori算法产生大量无效候选集的问题,为提升MapReduce模型下Apriori算法挖掘关联规则的性能,提出崭新的并行式数据聚类方法:基于W-DPC策略设计Apriori候选项集结合方法,预先确定MapReduce模型框架下Apriori算法执行的passes量,reduce无需等待map任务执行完毕再开始工作,降低passes阶段的运行负载;通过引入二项频繁集快速生成策略,明显降低Apriori算法生成二项频繁集的时间复杂度。实验结果显示,该方法有效平衡了各节点的工作负载量,降低了Apriori算法运行的时间复杂度。

基于改进人工神经网络的大数据聚类方法研究

为了优化BP人工神经网络在大规模样本聚类中的准确度,基于改进人工神经网络数据聚类方法,使用粒子群算法与遗传算法对BP人工神经网络的初始权值与阈值实施优化,将神经网络分类误差作为粒子群的适应度,利用遗传算法更新粒子速度与位置信息,获得最优粒子位置最优解,优化后的粒子群对BP神经网络初始权值与阈值寻优。实验结果显示,改进的BP神经网络训练误差与测试误差较为接近,表明网络模型的聚类性能较为精准、稳定。