朴素贝叶斯算法的改进与应用

朴素贝叶斯算法是分类算法中最经典、最有影响的算法之一,但仍然存在一些不足之处。针对该算法中下溢问题,对算法基本公式进行了优化改进。针对NB算法中准确率问题,结合类别核心词思想和改进后的TFIDF算法,提出了一种基于类别核心词和改进型TFIDF的朴素贝叶斯CIT-NB算法。将改进后的算法应用于新闻数据集文本分类,实验结果表明,CIT-NB算法的分类性能明显优于原始朴素贝叶斯算法和基于TFIDF的分类算法。

基于节点内聚系数的局部社团发现算法

为了能够快速有效地发现复杂网络中的局部社团,提出一种基于节点内聚系数的局部社团发现算法。该算法选取最大度节点作为起始社团,不断搜索其邻居节点,将满足条件的节点不断加入起始社团从而形成新的社团。在不同规模的真实网络数据集和人工合成数据集上进行实验,并与其他三种局部社团发现算法进行社团划分效果的对比。实验结果表明,该算法能够在较短的运行时间内保持较高模块度来识别复杂网络中的局部社团结构,更适合于大规模复杂网络的社团结构挖掘。

基于相关拓扑势的社团发现算法

针对传统算法社团划分精度较低以及模块度函数分辨率低的问题,提出一种基于相关拓扑势的社团发现算法,简称BITP算法。该算法考虑节点的相关性因素,引入相关拓扑势来衡量节点的影响力,寻找出其中的极大势值点,采用标签传播的思想对社团的规模进行控制。在人工合成网络和真实网络上,与多种算法进行实验对比,结果表明该算法多次运行结果相对稳定且社团划分精度较高。算法时间复杂度为O(n),且不需要先验知识,更适合大规模复杂网络上的社团结构挖掘。

分布式朴素贝叶斯算法在文本分类中的应用

传统串行贝叶斯算法在对大规模数据进行分类时,性能较低下。为此,在TFIDF(词频-逆向文件频率)特征加权基础上,提出ICF(逆类别因子)类别加权因子,对传统贝叶斯分类模型进行改进。利用MapReduce并行计算框架在处理海量数据方面的优势,设计并实现了一种对TFIDF改进的分布式朴素贝叶斯文本分类算法。实验结果表明,与传统分布式朴素贝叶斯算法和TFIDF加权的分布式朴素贝叶斯算法相比,改进后的分类算法在查准率、查全率、F-measure等方面都有了较大提高。