针对最小二乘双参数间隔支持向量机(LSTPMSVM)对噪声敏感且在分类过程中易受异常值影响的问题,提出了一种鲁棒的模糊最小二乘双参数间隔支持向量机算法(RFLSTPMSVM).该算法利用松弛变量的2范数使得优化问题具有强凸性,再根据隶属度为每...针对最小二乘双参数间隔支持向量机(LSTPMSVM)对噪声敏感且在分类过程中易受异常值影响的问题,提出了一种鲁棒的模糊最小二乘双参数间隔支持向量机算法(RFLSTPMSVM).该算法利用松弛变量的2范数使得优化问题具有强凸性,再根据隶属度为每个样本分配相应的权重,有效降低异常值带来的影响.同时,在目标函数中引入K-近邻加权,考虑样本之间的局部信息,提高模型的分类准确率.此外,通过求解简单的线性方程组来优化该算法,而不是求解二次规划问题,使模型具有较快的计算速度.在UCI(university of California irvine)数据集上对该算法进行性能评估,并与TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM 4种算法进行比较.数值实验结果表明,该算法具有更好的泛化性能.展开更多
最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)通过求解一个线性等式方程组来提高支持向量机(Support Vector Machine,SVM)的运算速度。但是,LSSVM没有考虑间隔分布对于LSSVM模型的影响,导致其精度较低。为了增强LS...最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)通过求解一个线性等式方程组来提高支持向量机(Support Vector Machine,SVM)的运算速度。但是,LSSVM没有考虑间隔分布对于LSSVM模型的影响,导致其精度较低。为了增强LSSVM模型的泛化性能,提高其分类能力,提出一种具有间隔分布优化的最小二乘支持向量机(LSSVM with margin distribution optimization,MLSSVM)。首先,重新定义间隔均值和间隔方差,深入挖掘数据的间隔分布信息,增强模型的泛化性能;其次,引入权重线性损失,进一步优化了间隔均值,提升模型的分类精度;然后,分析目标函数,剔除冗余项,进一步优化间隔方差;最后,保留LSSVM的求解机制,保障模型的计算效率。实验表明,新提出的分类模型具有良好的泛化性能和运行时间。展开更多
支持向量机(SVM)作为一种高效的分类模型,其性能在很大程度上取决于超参数的选择。本文将SVM的超参数选择问题重新构建为一个双层规划问题,结合正向模式法和梯度下降法来解决这一问题,从而获得优化后的SVM模型。为了应对高维数据的挑战...支持向量机(SVM)作为一种高效的分类模型,其性能在很大程度上取决于超参数的选择。本文将SVM的超参数选择问题重新构建为一个双层规划问题,结合正向模式法和梯度下降法来解决这一问题,从而获得优化后的SVM模型。为了应对高维数据的挑战,本文采用了主成分分析法(PCA)对原始数据进行降维处理,从而提升了SVM模型在高维小样本数据上的表现。通过与当前流行的三种方法:网格搜索、贝叶斯优化和模拟退火算法进行比较,结果表明,采用双层规划方法得到的SVM模型准确率为98.2%,召回率为100%,训练时间为0.768 s,分别优于其他三种方法,说明本文提出的方法得到的模型具有更好的预测效果。As an efficient classification model, the performance of Support Vector Machine (SVM) depends largely on the hyperparameter selection. In this paper, the hyperparameter selection problem of SVM is reconstructed into a bilevel optimization problem, which is combined with the forward mode method and Gradient descent method to solve this problem, resulting in an optimized SVM model. To tackle the challenges posed by high-dimensional data, this paper employs Principal Component Analysis (PCA) for dimensionality reduction on the original data, thereby enhancing the performance of the SVM model on high-dimensional, small-sample datasets. Comparing the results with three currently popular methods—grid search, Bayesian optimization, and simulated annealing—shows that the SVM model obtained through the proposed bilevel optimization method achieves an accuracy of 98.2%, a recall of 100%, and a training time of 0.768 seconds, outperforming the other three methods. This indicates that the model obtained through our proposed approach has better predictive effectiveness.展开更多
文摘针对最小二乘双参数间隔支持向量机(LSTPMSVM)对噪声敏感且在分类过程中易受异常值影响的问题,提出了一种鲁棒的模糊最小二乘双参数间隔支持向量机算法(RFLSTPMSVM).该算法利用松弛变量的2范数使得优化问题具有强凸性,再根据隶属度为每个样本分配相应的权重,有效降低异常值带来的影响.同时,在目标函数中引入K-近邻加权,考虑样本之间的局部信息,提高模型的分类准确率.此外,通过求解简单的线性方程组来优化该算法,而不是求解二次规划问题,使模型具有较快的计算速度.在UCI(university of California irvine)数据集上对该算法进行性能评估,并与TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM 4种算法进行比较.数值实验结果表明,该算法具有更好的泛化性能.
文摘最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)通过求解一个线性等式方程组来提高支持向量机(Support Vector Machine,SVM)的运算速度。但是,LSSVM没有考虑间隔分布对于LSSVM模型的影响,导致其精度较低。为了增强LSSVM模型的泛化性能,提高其分类能力,提出一种具有间隔分布优化的最小二乘支持向量机(LSSVM with margin distribution optimization,MLSSVM)。首先,重新定义间隔均值和间隔方差,深入挖掘数据的间隔分布信息,增强模型的泛化性能;其次,引入权重线性损失,进一步优化了间隔均值,提升模型的分类精度;然后,分析目标函数,剔除冗余项,进一步优化间隔方差;最后,保留LSSVM的求解机制,保障模型的计算效率。实验表明,新提出的分类模型具有良好的泛化性能和运行时间。
文摘支持向量机(SVM)作为一种高效的分类模型,其性能在很大程度上取决于超参数的选择。本文将SVM的超参数选择问题重新构建为一个双层规划问题,结合正向模式法和梯度下降法来解决这一问题,从而获得优化后的SVM模型。为了应对高维数据的挑战,本文采用了主成分分析法(PCA)对原始数据进行降维处理,从而提升了SVM模型在高维小样本数据上的表现。通过与当前流行的三种方法:网格搜索、贝叶斯优化和模拟退火算法进行比较,结果表明,采用双层规划方法得到的SVM模型准确率为98.2%,召回率为100%,训练时间为0.768 s,分别优于其他三种方法,说明本文提出的方法得到的模型具有更好的预测效果。As an efficient classification model, the performance of Support Vector Machine (SVM) depends largely on the hyperparameter selection. In this paper, the hyperparameter selection problem of SVM is reconstructed into a bilevel optimization problem, which is combined with the forward mode method and Gradient descent method to solve this problem, resulting in an optimized SVM model. To tackle the challenges posed by high-dimensional data, this paper employs Principal Component Analysis (PCA) for dimensionality reduction on the original data, thereby enhancing the performance of the SVM model on high-dimensional, small-sample datasets. Comparing the results with three currently popular methods—grid search, Bayesian optimization, and simulated annealing—shows that the SVM model obtained through the proposed bilevel optimization method achieves an accuracy of 98.2%, a recall of 100%, and a training time of 0.768 seconds, outperforming the other three methods. This indicates that the model obtained through our proposed approach has better predictive effectiveness.
