基于流形正则的块增量距离尺度学习算法

在实时应用中,观测样本通常以数据块的形式依次达到,传统的批量距离算法难以进行学习.本文提出一种新颖的利用成对约束关系进行学习的块增量距离尺度算法.首先给出块增量学习的一般模型,并通过扩展约束集克服其容易"过拟合"的缺陷;然后引入流形正则项使得学习过程中数据块的局部邻域结构得以保持.实验结果表明,本文算法学习的距离尺度在测试精度、计算开销上优于现有的增量距离算法,并且在存储开销方面显著优于批量距离算法.

一种高效的最小二乘支持向量机分类器剪枝算法

针对最小二乘支持向量机丧失稀疏性的问题,提出了一种高效的剪枝算法.为了避免解初始的线性代数方程组,采用了一种自下而上的策略.在训练的过程中,根据一些特定的剪枝条件,块增量学习和逆学习交替进行,一个小的支持向量集能够自动形成.使用此集合,可以构造最终的分类器.为了测试新算法的有效性,把它应用于5个UCI数据集.实验结果表明:使用新的剪枝算法,当增量块的大小等于2时,在几乎不损失精度的情况下,可以得到稀疏解.另外,和SMO算法相比,新算法的速度更快.新的算法不仅适用于最小二乘支持向量机分类器,也可向最小二乘支持向量回归机推广.

自适应剪枝LS-SVM算法在入侵检测中的应用研究

针对SVM方法计算复杂度和时间复杂度较高的缺点,提出一种自适应剪枝LS-SVM算法。该算法通过块增量学习、剪枝过程以及逆学习的交替进行,大幅减少了支持向量的个数,降低了算法的计算复杂度和时间复杂度。实验结果表明,同标准C-SVM算法相比,应用该算法的入侵检测模型在检测时间、检测精度方面有着较好表现。