多类支持向量域分类器及其在入侵检测中的应用

在对网络连接数据进行分析和研究的基础上,针对传统多类支持向量机分类法分类精度较低的现象,提出了一种新的MSVDC的入侵检测方法,将SVDC在两类问题的应用推广到多类问题中.在KDDCUP1999数据集上的实验结果表明,其相对于传统的多类支持向量机方法,在保证较低的误报率的情况下,有较高的分类精度和较好的检测效果.

基于乘性规则的支持向量域分类器

该文提出了一种基于支持向量域描述 (SVDD)的学习分类器 .在两类样本分类中 ,该算法在训练时通过对1类样本的描述求取包含 1类样本的球形边界 ,然后通过该边界对两类样本数据进行分类 ,并且在求取边界的优化问题中 ,采用乘性规则来直接求取Lagrange乘子 ,而不是用传统的二次优化方法 .该文所获得的学习算法和支持向量机 (SVM)与序列最小优化 (SMO)算法相比 ,不仅降低了样本的采集代价 ,而且在优化速度上有了很大提高 .通过CBCL人脸库的仿真实验 ,将该算法和SVM、SOM算法的实验结果进行对比 ,说明了该学习算法的有效性 .

空间支持向量域分类器

构造了一种空间支持向量域分类器(SSVDC).在训练阶段分别对正负两类样本进行支持向量域描述,根据描述边界将数据空间划分为互不相交区域,并设定相应的分类准则.在测试阶段,分别计算待识别样本与两个最小包围超球球心的距离,根据其与超球半径的大小关系确定待识别样本所处区域,并采取相应分类准则完成分类.UCI数据集上的多个数值实验表明,与支持向量机(SVM),支持向量域分类器(SVDC)相比,SSVDC具有好的鲁棒性,训练时间可缩短为SVM的20.6%,分类精度比SVDC提高45.9%.

基于支持向量域描述的学习分类器

文章在分析支持向量域描述的基础上发展了一类基于描述的学习分类器。该算法在训练时通过在高维特征空间中求取所描述的训练样本的超球体边界,然后通过该边界对样本数据进行分类。文章所获得的学习算法和支持向量机(SVM)和序列最小优化(SMO)算法相比,不仅降低了样本的采集代价,而且在训练速度上有了很大提高。在CBCL人脸库和USPS手写数字识别的实验中,给出了该算法和SVM、SOM算法的实验对比结果,说明了该学习算法的有效性。

支持向量域多分类器

为解决多分类支持向量机计算量大、训练时间长的问题,构造了支持向量域多分类器(MS-VDC).在训练阶段,运用支持向量域描述求得各类样本的最小包围超球,进而将数据空间划分为不同区域;在测试阶段,计算待识别样本与最小包围超球球心的距离,并判断其空间位置;对超球重叠以及超球外区域的样本,定义一种相对类距离,判断样本归属该值较小的类.MSVDC避免了重复利用训练样本,降低了内存占用并提高了计算效率.数值实验结果表明:MSVDC具有好的鲁棒性,分类精度可高达98.89%,分别比一对多和一对一算法高4.51%和1.24%,训练时间分别为一对多和一对一算法的18.06%和55.41%.

基于空间支持向量域分类器的人脸识别

提出了一种基于小波变换、奇异值分解与空间支持向量域分类器相结合的人脸识别方法。在使用空间支持向量分类器对不同人脸图像的奇异特征向量进行分类时,计算所测样本到各个超球球心的距离,并根据其与超球半径的关系来判断其所归属。并在ORL人脸数据库中进行实验。实验表明提出的人脸识别方法识别精度可达97.5%。

基于支持向量机与无监督聚类相结合的中文网页分类器

提出了一种将支持向量机与无监督聚类相结合的新分类算法 ,给出了一种新的网页表示方法并应用于网页分类问题 .该算法首先利用无监督聚类分别对训练集中正例和反例聚类 ,然后挑选一些例子训练 SVM并获得 SVM分类器 .任何网页可以通过比较其与聚类中心的距离决定采用无监督聚类方法或 SVM分类器进行分类 .该算法充分利用了 SVM准确率高与无监督聚类速度快的优点 .实验表明它不仅具有较高的训练效率 ,而且有很高的精确度 .

决策树支持向量机多分类器设计的向量投影法

针对如何有效地设计决策树支持向量机(SVM)多类分类器的层次结构这个关键问题,提出一种基于向量投影的类间可分性测度的设计方法,并给出一种基于该类间可分性测度设计决策树SVM多分类器层次结构的方法.为加快每个SVM子分类器的训练速度且保持其高推广性,将基于向量投影的支持向量预选取方法用于每个子分类器的训练中.通过对3个大规模数据集和手写体数字识别的仿真实验表明,新方法能有效地提高决策树SVM多类分类器的分类精度和速度.

基于模糊支持向量机的多级二叉树分类器的水轮机调速系统故障诊断

在传统支持向量机(C-SVM)的基础上,通过集成模糊聚类技术和支持向量机算法,构造了一种适合于故障诊断的多级二叉树分类器,并首次应用于水轮机调速系统故障诊断,取得了良好效果。该方法首先利用模糊聚类技术求取每类样本聚类中心,再对各聚类中心逐次二分,从而确定了一棵二叉树,然后在二叉树的每个节点处,根据样本聚类中心把相应样本分成两类,构造出SVM 子分类器。实验结果表明,对于k 类别故障诊断问题,只需构造k-1 个SVM 子分类器,简化了分类器结构,避免了不可区分区域的出现,且节省了内存开销,故障诊断正确率高。

一种基于支持向量机决策树多类分类器

提出一种基于支持向量机决策树的多类分类器SVMDT(Support Vector Machines based Decision Tree)。训练时,SVMDT采用样本类间最小距离原则进行决策树分叉,综合考虑局部类簇,生成一棵平衡的分类二叉树。分类时,SVMDT采用最大距离原则匹配决策。SVMDT训练时采用的距离为等效距离,综合考虑特征空间中样本类的中心距离以及样本类自身的分布特点,使得训练过程中确定各个SVM的优先级别更加合理,由此生成的决策树将特征空间严格划分开,避免了拒识区域的出现。UCI样本数据集实验结果表明,和传统的1对多SVM分类器相比,SVMDT具有训练速度快、分类速度快,分类精度高的特点。

带拒识能力的双层支持向量模型分类器

本文构造了一种带拒识能力的双层支持向量模型分类器.在训练学习过程中,首先对各类样本特征空间求取最小的包含球形边界,得到各类样本的球形支持向量域表示.这样对于输入的非目标样本即可利用各类的支持向量域进行拒识或接受处理;然后针对接受的样本再利用基于超平面分割的SVM训练器进行分类判决.无论是在第一层求取边界的优化问题中,还是在第二层的分类超平面优化过程中,都采用相乘性更新迭代规则直接求解,优化速度与最小二乘支持向量机(LS-SVM)相当.仿真实验表明本文提出的通过引入拒绝层和判决层的新支持向量模型策略是合理可行的,在实际模式识别领域具有广阔的应用前景.

基于改进的PCM支持向量描述多类分类器

基于支持向量数据描述和改进的可能性c-均值聚类算法,提出了一种模糊的多类分类学习机。首先通过一个改进的PCM算法来计算每个样本对于每类的权值矩阵,该权值也反映了该样本对某类的重要程度;然后将该权值矩阵应用到支持向量数据描述方法中,并对样本进行训练;最后给出了一个针对多类分类的分类规则(函数),并从理论上证明该分类规则满足贝叶斯优化决策理论。通过对比实验分析,本文提出的算法在分类精度和训练时间上都有较大的改善。

基于Adboost与空间支持向量域分类的人脸检测

为了在AdaBoost算法基础上进一步提高人脸检测率,提出首先运用AdaBoost算法对样本进行训练得到T个分类器,然后通过空间支持向量域分类(SSVDC)方法找到T个分类器的超球半径以及球心。同时,为了提高检测速度,首先对彩色图像进行肤色分割,去掉背景以及非肤色区域,然后计算所测样本的对应T个分类器的特征值,并计算其到各个超球球心的距离,并根据其与超球半径的关系来判断是否为人脸。在ORL人脸库、YALE人脸库以及CMU+MIT人脸库中进行实验。实验结果表明:本文算法比AdaBoost算法具有更高的检测速度与检测率,检测率可达到94.4%。

基于PCA及聚类技术的支持向量机分类器设计

提出了一种新的支持向量机分类器的设计方法.该方法利用主成分分析(PCA)及聚类技术在原问题空间中求解,减少了支持向量机分类器中支持向量的维数,且将原问题空间与特征空间中的问题归结为同一类的设计问题.

基于快速可拒识-双层支持向量分类器的微钙化点的检测算法

为克服微钙化点检测中假阳性高的缺点,本文构造了一种带拒识能力的双层支持向量模型分类器用于钙化点检测。对于输入模式,首先利用基于最大间隔超平面的支持向量分类器(SVM)进行分类判决;然后对真实的钙化点样本特征空间求取最小包含球形的边界,得到钙化点样本的球形支持向量域表示(SVDD),对于输入模式即可利用钙化点的支持向量域表示进行拒识或接受处理;最后利用SVM与SVDD两个分类器的结果进行综合判决。无论是第一层的求取最优分类超平面,还是第二层的边界优化训练,都根据各个训练数据的类间最近邻距离进行排序操作,选择合适的训练样本子空间进行SVM和SVDD训练。仿真实验结果表明,本文提出的算法在不影响微钙化点检出率的情况下,可以部分解决钙化点检测中假阳性高的问题。

结合模糊(C+P)均值聚类和SP-V-支持向量机的TSK分类器

为获得具有模糊规则自适应约简性能和较好的泛化性能的TSK分类器,本文提出了一种结合模糊(C+P)均值聚类(FCPM)算法和SP-V-支持向量机(SVM)分类算法来构建TSK(Takagi-Sugeno-Kang)分类器的方法。该方法首先用FCPM聚类算法对训练数据进行聚类;然后根据聚类结果确定TSK分类器的模糊规则前件中的高斯隶属度函数的中心和宽度参数;最后采用成组稀疏约束SP-V-SVM算法对模糊规则后件参数进行学习,该算法不仅改善了系统的泛化性能,还使系统具有模糊规则自适应约简功能,使得系统更为紧凑。与相关算法在UCI和IDA标准数据集分类实验中的模糊规则数和分类性能对比表明:用提出的分类算法所构造的TSK分类器不仅具有较好的分类性能,而且模糊规则数少,有利于构建更为紧凑的模糊分类系统。

基于可拒识-双层支持向量分类器的微钙化点检测

为克服医学图像微钙化点检测中假阳性高的缺点,构造了一种带拒识能力的双层支持向量模型分类器,用于钙化点检测。检测时,首先利用基于最大间隔超平面的支持向量分类器(SVC)对输入模式进行分类判决;然后通过求取真实钙化点样本特征空间最小的包含球形边界来得到钙化点样本的球形支持向量域表示(SVDD);接着利用钙化点的支持向量域表示对输入模式进行拒识或接受处理;最后利用SVC与SVDD两个分类器的结果来进行综合判决。仿真实验结果表明,该算法在不影响微钙化点的检出率的情况下,可部分解决假阳性高的问题。

一种新的支持向量机分类器的设计方法

提出了一种新的支持向量机分类器的设计方法 .该方法利用主成分分析 (PCA)及聚类技术在原问题空间中求解 ,减少了支持向量机分类器中支持向量的维数 ,且将原问题空间与特征空间中的问题归结为同一类的设计问题 .

支持向量机多类目标分类器的结构简化研究

由于支持向量机(SVM)在模式识别和回归分析中有着独特优势,因此成为近来研究的热点,其优势主要体现在处理非线性和高维数据问题方面。最初的SVM特别适合解决两类目标分类问题,而对于多类目标分类,则需将其转化为多个两类目标分类问题,相应地即可构造多个两类目标子分类器,但由于这种情况导致了分类器结构的过于复杂,从而导致判决速度的降低。为了快速地进行分类,提出了一种简化结构的多类目标分类器,其不仅使得子分类器数目大大减少,而且使分类速度明显提高;同时对其分类精度和复杂度进行了对比分析。实验结果证明,该分类器是有效的。

基于证据理论的多类分类支持向量机集成

针对多类分类问题,研究支持向量机集成中的分类器组合架构与方法.分析已有的多类级和两类级支持向量机集成架构的不足后,提出两层的集成架构.在此基础上,研究基于证据理论的支持向量机度量层输出信息融合方法,针对一对多与一对一两种多类扩展策略,分别定义基本概率分配函数,并根据证据冲突程度采用不同的证据组合规则.在一对多策略下,采用经典的Dempster规则;在一对一策略下则提出一条新的规则,以组合冲突严重的证据.实验表明,两层架构优于多类级架构,证据理论方法能有效地利用两类支持向量机的度量层输出信息,取得了满意的结果.