增量式最小二乘法分类器与增量式支持向量机的对比

在处理大规模数据时,近似支持向量机及其增量式版本(ISVM)是一种比传统支持向量机更加简单而有效的分类器.但在处理高维数据时,由于ISVM通过计算矩阵的逆来更新模型参数,这使得其计算效果有待提高.针对上述问题,本文提出了基于最小二乘法的增量式方法.该增量式方法通过对矩阵运算的恒等推导,把矩阵求逆问题转变成了除法运算,得到了简单的模型参数更新公式,从而获得了和ISVM同样的预测精度,且在处理高维数据时运行效率更高.在合成数据及图像和生物数据上的试验表明该增量式方法优于ISVM方法.

基于支持向量机的增量式算法

为了扩展支持向量机在大规模数据集和成批出现数据领域的应用,提出了一种基于支持向量机的增量式学习算法.利用标准的支持向量机算法训练得到初始的目标概念,通过增量式步骤不断更新初始的目标概念.更新模型是求解一个与标准支持向量机具有类似的数学形式的凸二次规划问题.证明了在可分情况下,如果新增加的样本不是位于边界区,那么增量式过程既不会改变分类平面也不会改变分类平面的表达.与现有的增量式支持向量机算法相比,该算法无需额外计算就可实现增量式的逆过程并且训练时间与增量式步骤数成反比.实验结果表明,该算法满足稳定性、能够不断改进性能以及性能回复三个准则.

一类增量式支持向量机的分析

针对训练数据发生增量改变时,标准一类支持向量机的批处理算法需要重新进行训练,不适合在线增量环境学习的问题,提出一种详细的增量式标准一类分类向量机算法,并通过理论分析对该算法的可行性和有限收敛性进行了证明,确保该算法的每步调整都是可靠的,并确保该算法通过有限步调整最终收敛到问题的最优解。在标准数据集上的实验结果验证了理论分析的正确性。

增量密度加权近似支持向量机

近似支持向量机(PSVM)是一个正则化最小二乘问题,有解析解,但是它失去了支持向量机(SVM)的稀疏性,使得所有的训练样例都成为支持向量。为了有效地控制近似支持向量机的稀疏性,提出了增量密度加权近似支持向量机(IDWPSVM),它在训练集中选取最基本的支持向量。实验表明,IDWPSVM方法与SVM,PSVM和DWPS-VM方法相比,其精度相似,收敛速度快,可有效地控制近似支持向量机的稀疏性。

用于手写数字识别的增量式模糊支持向量机

根据不同训练样本对于训练过程具有不同的贡献度,构造增量函数.通过设置增量函数的阈值,构造了用于手写数字识别的增量式模糊支持向量机.选取机器学习与智能系统中心的手写数字识别问题来验证文中方法的优越性,与模糊支持向量机相比,文中方法加快了训练过程,提高了识别精度.

增量式剪枝最小二乘支持向量机的时间序列预测

根据分块矩阵计算公式和支持向量机核函数矩阵本身特点,在增量式最小二乘支持向量机算法的基础上,通过引入剪枝方法改善最小二乘支持向量机的稀疏性,并将这种方法应用于时间序列预测,试验表明这一方法在预测精度及速度上具有一定的优越性。

一种增量式的代价敏感支持向量机

代价敏感学习是机器学习中一个重要的领域.由Masnadi等提出的代价敏感的支持向量机通过将铰链损失函数代价敏感化来处理代价敏感问题,比传统的代价敏感学习方法具有更好的泛化精度.现实中的数据往往是通过在线增量式获取的,而传统的全量式学习算法每次增加样本时都需要重新从头计算,因此浪费了很多时间.为了使得代价敏感的支持向量机能够在在线学习的场景下具有更高的效率,提出了一种增量式的代价敏感支持向量机算法.该算法可以在新增样本时直接更新已有的训练过的模型,不需要从头开始重新训练.在多个数据集上的实验结果也显示出了该方法与传统的批处理方法相比,在速度上的具有显著的优势.

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。

增量和减量式标准支持向量机的分析

当训练数据每次发生改变时,例如增加或者删除部分数据,标准支持向量机的批处理算法就需要重新进行训练,这将不适合在线环境的计算.为了克服这个问题,Cauwenberghs和Poggio提出了增量和减量式标准支持向量机算法(C&P算法).通过理论分析,证明C&P算法的可行性和有限收敛性.可行性证明确保了C&P算法的每步调整都是可靠的,有限收敛性证明确保了C&P算法通过有限步调整最终收敛到问题的最优解.在此基础上,进一步通过实验结果验证了所给出的理论分析的结果.

基于近似等距投影和支持向量机的滚动轴承故障诊断

为了有效的实现滚动轴承的故障诊断,提出基于近似等距投影和支持向量机的滚动轴承故障诊断方法。该方法首先使用高斯随机投影矩阵对数据进行降维投影得到压缩数据,根据近似等距投影性质压缩数据能够保持原始信号的结构;然后从压缩数据中提取压缩域特征并作为支持向量机的输入,建立滚动轴承故障诊断模型,实现轴承的故障诊断。使用不同状态的轴承实测数据进行验证,结果表明该方法能够获得准确的结果。

EMD近似熵结合支持向量机的心音信号识别研究

针对心音信号的非线性、非平稳特征和心音识别准确率不高且分类速度较慢的实际情况,提出一种经验模式分解(Empirical Mode Decomposition,EMD)近似熵(Approximate Entropy,ApEn)结合支持向量机(Support Vector Machine,SVM)的心音分类识别方法。通过EMD方法将非平稳的心音振动信号分解成若干个平稳的固有模态函数(Intrinsic Mode Function,IMF);利用互相关系数准则对IMF进行筛选,计算所筛选IMF的近似熵构成特征向量;将特征向量输入SVM分类器进行分类识别。对临床采集的心音样本按该方法进行测试,结果表明,该方法能有效地用于心音识别。

用于处理不平衡样本的改进近似支持向量机新算法

近似支持向量机(PSVM)在处理不平衡样本时,会过拟合样本点数较多的一类,低估样本点数较少的类的错分误差,从而导致整体样本的分类准确率下降。针对该问题,提出一种用于处理不平衡样本的改进的PSVM新算法。新算法不仅给正、负类样本赋予不同的惩罚因子,而且在约束条件中新增参数,使得分类面更具灵活性。该算法先对训练集训练获得最优参数,然后再对测试集进行训练获得分类超平面,最后输出分类结果。UCI数据库中9组数据集的实验结果表明:新算法提高了样本的分类准确率,在线性的情况下平均提高了2.19个百分点,在非线性的情况下平均提高了3.14个百分点,有效地提高了模型的泛化能力。

基于近似支持向量机的能见度释用预报研究

利用2008—2010年逐年12月、次年1月的T_(511)L_(61)数值预报产品和单站观测资料,采用近似支持向量机方法,分别建立了南京、杭州和衢州站分类和回归结合的能见度释用预报模型(简称分类和回归结合模型)。利用2011年12月、次年1月资料作为独立样本,对模型进行试报检验,并与不分类条件下的纯回归模型进行对比。结果表明:分类和回归结合模型的预报效果好于纯回归模型,在24、36、48、60和72 h试报中,分类和回归结合模型的南京、杭州和衢州三站平均的准确率依次为75.5%、83.7%、72.1%、75.4%和78.0%,在除48 h的其余4个预报时次中,分类和回归结合模型的三站平均的准确率均高于纯回归模型。分类和回归结合模型在单站能见度预报中有较好的应用前景。

基于样本分布不平衡的近似支持向量机

针对标准的近似支持向量机(PSVM)没有考虑样本分布不平衡的问题,提出了一种新的PSVM算法—BPS-VM;根据训练样本数量的不平衡对正负样本集分别分配了不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变更为一个对角阵,最后推导出了线性和非线性BPSVM的决策函数。实验结果表明,BPSVM的性能优于PSVM,与SVM方法相比效率更高。

基于近似支持向量机的Web文本分类研究

文本分类技术是知识管理系统实现知识有效组织、存储和检索的重要手段。本文提出了一种新的基于近似支持向量机的分类算法,并将该分类算法应用于文本分类分析。实验过程中与现有的分类方法比较,新的分类方法具有训练速度快、分类精度比较高的优点。

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。

基于LMD近似熵和支持向量机的轴承故障诊断

针对轴承振动信号的非平稳特征和现实中难以获得大量典型故障样本的情况,提出了一种基于局部均值分解(local mean decomposition,LMD)的近似熵和支持向量机的轴承故障诊断方法。首先通过LMD方法将非平稳的原始加速度振动信号分解成若干个平稳的乘积函数(productionfunction,PF);轴承发生不同的故障时,在不同频带内的信号近似熵值会发生改变,故可通过计算不同振动信号的LMD近似熵判断是否发生故障和发生的故障类型;从包含有主要故障信息的PF分量中提取出来的近似熵特征作为输入建立支持向量机(support vector machine,SVM),判断轴承的工作状态和故障类型。

基于近似熵与支持向量机的异步电机故障诊断研究

针对异步电机故障发生率高、故障类别难以有效识别的问题,提出一种基于近似熵与支持向量机的故障诊断方法。通过构造故障再现试验,分别测取4种不同状态类别的多测点振动信号样本。利用近似熵算法计算其近似熵样本值,得到4种不同状态类别的近似熵故障特征向量。结合支持向量机算法,构建支持向量机分类模型。近似熵特征量被划分为训练样本和测试样本,经验证其故障诊断准确率达97.5%,改进BP神经网络诊断方法的准确率为92.5%,结果表明:近似熵结合支持向量机方法具有更高的诊断精度。

永磁同步电机转子位置提取近似分类支持向量机灰色预测方法

针对单一灰色预测方法下磁特性曲线建模对电机不同运行状态区分能力差、概括性不强,由此导致估计误差较大的问题,提出基于支持向量机分类细化特性曲线区,提高用以灰色GM(1,1)预测建模数据指数光滑度,改善转子信息估计精度的灰色近似支持向量机分类预测算法。将此预测方法用于永磁同步电机的矢量控制当中,数值仿真结果证明,引入先期近似支持向量机分类算法后的转子位置灰色预测法可以在较少测试数据集上达到较高的估计精度。

基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.