基于MapReduce的并行化最小最大模块化支持向量机研究

最小最大模块化支持向量机(M3-SVM)是对大规模数据进行模式分类的有效方法.为了进一步提高M3-SVM算法处理大规模数据的效率.基于MapReduce的编程模型实现了M3-SVM的并行化.并行化主要分为两个部分:1)将M3-SVM中的多个任务分解进行并行化;2)将M3-SVM中用来训练基分类器SVM的序列最小优化算法(SMO)进行并行化.在多个现实数据集上的实验结果表明基于MapReduce的并行化最小最大模块化支持向量机算法不仅具有较好的可靠性,而且比传统的最小最大模块化支持向量机算法具有更好的时间效率.

基于随机子空间的最小最大模块化支持向量机

最小最大模块化支持向量机(M3-SVM)是一种对大规模数据进行模式分类的有效方法.为进一步提高M3-SVM对高维大规模不平衡数据的分类性能,文中分析多种随机子空间策略,并将其与M3-SVM相结合,以实现降维和增加特征层面上的集成机制,从而得到一类基于随机子空间的最小最大模块化支持向量机(M3-SVM-RS).在现实数据集上验证随机子空间策略的有效性,同时通过实验分析M3-SVM-RS中各个子模块(基分类器)之间的差异性.

基于集成学习的中文文本欺骗检测研究

欺骗信息检测是信息安全领域中的重要研究内容.现有的研究表明,三分之一的人际交往中会涉及到潜在的欺骗,大量的欺骗信息充斥在各种各样的通信媒介中,在海量的网络信息中欺骗性数据的规模通常远小于非欺骗性数据的规模,已有方法还不能很好地适应于准确高效地欺骗检测,迫切期望提出一种能高效地检测欺骗信息的方法.针对具有非平衡性的海量网络信息,提出了一种基于集成学习的欺骗行为检测方法.通过改进的二分k-means划分方法对训练样本集进行分解,分别在每对正负样本集上学习各自独立的分类器,然后利用每个独立分类器分别计算待测样本的类别输出值,并采用结合个体分类器分类正确率的最小最大模块化方法集成每个判别结果.实验结果验证了该方法的有效性.