Nave Bayes分类器制导的专业网页爬取算法

从Web中快速、准确地检索出所需信息的迫切需求催生了专业搜索引擎技术。在专业搜索引擎中,网络爬虫(Crawler)负责在Web上搜集特定专业领域的信息,是专业搜索引擎的重要核心部件。该文对中文专业网页的爬取问题进行了研究,基于KL距离验证了网页内容与链接前后文在分布上的差异,在此基础上提出了以链接锚文本及其前后文为特征、Nave Bayes分类器制导的中文专业网页爬取算法,设计了自动获取带链接类标的训练数据的算法。以金融专业网页的爬取为例,分别对所提出的算法进行了离线和在线测试,结果表明,Nave Bayes分类器制导的网络爬虫可以达到近90%的专业网页收割率。

文本分类系统SECTCS中若干技术问题的探讨

SECTCS是笔者在深入研究各种文本分类方法的基础上实现的一个中英文文本分类系统。它集成了质心分类、K近邻分类和朴素贝叶斯分类器等多种文本分类方法,在大规模文本分类实验中表现出良好的性能。该文结合以该系统作为测试平台所得到的各种实验结果,对系统中涉及的若干重要技术问题进行探讨和分析,力图得到一些有价值的结论,希望能够对相关研究工作提供可借鉴的依据。

基于高斯混合模型的遥感影像连续型朴素贝叶斯网络分类器

提出了一种新的嵌入高斯混合模型(GMM,Gaussian Mixture Model)遥感影像朴素贝叶斯网络模型GMM-NBC(GMMbased Na ve Bayesian Classifier)。针对连续型朴素贝叶斯网络分类器中假设地物服从单一高斯分布的缺点,该方法将地物在特征空间的分布用高斯混合模型来模拟,用改进EM算法自动获取高斯混合模型的参数;高斯混合模型整体作为一个子节点嵌入朴素贝叶斯网络中,将其输出作为节点(特征)的中间类后验概率,在朴素贝叶斯网络的框架下进行融合获得最终的类后验概率。对多光谱和高光谱数据的分类实验结果表明,该方法较传统贝叶斯分类器分类效果要好,且有较强的鲁棒性。

基于贝叶斯信念网的网络流量分类与识别研究

网络流量分类识别技术是许多网络研究和应用领域的基础,但随着动态端口、端口伪装和信息加密等技术的使用,传统的纯端口识别法已不再有效。提出一种基于贝叶斯信念网的网络流量分类方法,通过使用有向无环图和结点概率表,很好地解决了流属性之间条件独立的问题。对真实网络流量数据的测试结果表明,这种方法具有稳定可靠的分类识别效果。

聚焦爬行中网页爬行算法的改进

因特网的迅速发展对万维网信息的查找与发现提出了巨大的挑战。对于大多用户提出的与主题或领域相关的查询需求,传统的通用搜索引擎往往不能提供令人满意的结果网页,为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究思路和方法。该文针对聚焦爬虫这一研究热点,对现今聚焦爬虫的爬行方法(主要是网页分析算法和网页搜索策略)做了深入分析和对比,提出了一种改进的聚焦爬行算法。这种基于类间规则的聚焦爬行方法借助baseline聚焦爬虫的架构,应用朴素的贝叶斯分类器并利用主题团间链接的统计关系构造规则找到在一定链接距离内的"未来回报"页面,并通过实验对该算法的性能进行分析、评价,证明其对聚焦爬虫的爬行收获率和覆盖率有很好的改善。

一种基于粗糙集的特征加权朴素贝叶斯分类器

朴素贝叶斯分类器是一种简单高效的分类算法,但其属性独立性假设影响了分类效果。通过放松朴素贝叶斯假设可以增强朴素贝叶斯的分类效果,但是通常会导致计算代价大幅提高。针对以上问题,提出了一种基于粗糙集的特征加权朴素贝叶斯算法,加权参数直接从训练数据中学习得到,可以看作是计算某个后验概率时,某个特征对于该类别的影响程度。将该分类算法与朴素贝叶斯分类器(na ve bayesian classifier,NB)、贝叶斯网(bayes networks)和NBTree分类器进行实验比较。结果表明:在大多数数据集上,FWNB分类器在较小的计算代价下,具有较高的分类正确率。

动态朴素贝叶斯网络分类器的特征子集选择

分类准确性是分类器最重要的性能指标,特征子集选择是提高分类器分类准确性的一种有效方法。现有的特征子集选择方法主要针对静态分类器,缺少动态分类器特征子集选择方面的研究。首先给出具有连续属性的动态朴素贝叶斯网络分类器和动态分类准确性评价标准,在此基础上建立动态朴素贝叶斯网络分类器的特征子集选择方法,并使用真实宏观经济时序数据进行实验与分析。

融合标准知识的事故灾难领域词典构建

现阶段我国正处于事故灾难的频发时期,目前国内针对这一领域的专业化词典相对欠缺。本文以有关事故灾难领域的国家应急标准及网络数据为语料库,首先对语料库进行预处理,其次利用TF-IDF算法筛选出种子词集合,同时借助深度学习中的Word2Vec模型进行词向量训练,然后利用相似度计算的方式确定出领域候选词,最后融合应急标准术语完成事故灾难领域词典的构建。经SVM分类器与朴素贝叶斯分类器验证,将本文所构建的领域词典加入到结巴自定义词典后,分类器在准确率、召回率与F1值上分别提高了11%、11%、12%以及5%、8%、6%,表明本文构建的领域词典质量较好。

顾及障碍物的朴素贝叶斯分类法在城镇土地定级中的应用

本文以潮州市建成区和近期规划区为研究区,采用训练样本获取先验概率建立朴素贝叶斯分类器,以栅格点为单位,将各栅格点的土地定级因素作用分值作为输入变量,利用朴素贝叶斯分类器进行土地定级。在作用分值确定方法上,采用障碍距离代替传统直线距离,以达到客观反映点、线等要素对城镇土地使用价值作用的程度。最后,对顾及障碍物的朴素贝叶斯定级结果分别与空间聚类结果及未顾及障碍物的定级结果进行比较,结果表明本文所提出的方法在土地定级研究中具有一定的优势,能更加真实地反映城镇土地使用价值的空间分布特征。

一种基于朴素贝叶斯分类法的空间分类算法

空间分类是空间数据挖掘的重要分支,寻找高效的空间分类算法是空间分类研究的重要方向.在空间对象的邻接图及朴素贝叶斯分类法的基础上提出一个新的空间分类算法,该算法对空间对象进行分类时,既考虑了待分类对象的属性对分类的影响,又考虑了其空间邻接对象对它分类的影响.该算法的计算复杂度不高,分类的正确性好.