针对光滑孪生支持向量机(smooth twin support vector machines,STWSVM)采用的Sigmoid光滑函数逼近精度低的问题,提出一种基于Newton-Armijo优化的多项式光滑孪生支持向量机(polynomial smooth twin support vector machines based on N...针对光滑孪生支持向量机(smooth twin support vector machines,STWSVM)采用的Sigmoid光滑函数逼近精度低的问题,提出一种基于Newton-Armijo优化的多项式光滑孪生支持向量机(polynomial smooth twin support vector machines based on Newton-Armijo optimization,PSTWSVM-NA)。在PSTWSVM-NA中,引入正号函数,将孪生支持向量机的两个二次规划问题转化为两个不可微的无约束优化问题。随后,引入一族多项式光滑函数对不可微的无约束优化问题进行光滑逼近,并用收敛速度快的Newton-Armijo方法求解新模型。从理论上证明了PSTWSVM-NA模型具有任意阶光滑性,在人工数据和UCI数据集上的实验结果表明该算法具有较高的分类精度和较快的训练效率。展开更多
针对目前光滑孪生支持向量回归机(smooth twin support vector regression,STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale,CHKS)函数,采用C...针对目前光滑孪生支持向量回归机(smooth twin support vector regression,STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale,CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression,SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.展开更多
针对光滑孪生支持向量回归机(Smooth Twin Support Vector Regression,STSVR)中Sigmoid函数逼近精度不高的问题,将正号函数展开为无穷多项式级数,由此得到一族光滑函数.采用该多项式光滑函数逼近孪生支持向量回归机的不可微项,并用Newto...针对光滑孪生支持向量回归机(Smooth Twin Support Vector Regression,STSVR)中Sigmoid函数逼近精度不高的问题,将正号函数展开为无穷多项式级数,由此得到一族光滑函数.采用该多项式光滑函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了多项式光滑孪生支持向量回归机(Polynomial Smooth Twin Support Vector Regression,PSTSVR).不仅从理论上证明了PSTSVR的收敛性和满足任意阶光滑的性能,而且在人工数据集和UCI数据集上的实验表明了PSTSVR比STSVR具有更好的回归性能.展开更多
2005年袁玉波等人用一个多项式函数作为光滑函数,提出了一个多项式光滑的支持向量机模型PSSVM(polynomial smooth support vector machine),使分类性能及效率得到了一定提高.2007年熊金志等人用插值函数的方法导出了一个递推公式,得到...2005年袁玉波等人用一个多项式函数作为光滑函数,提出了一个多项式光滑的支持向量机模型PSSVM(polynomial smooth support vector machine),使分类性能及效率得到了一定提高.2007年熊金志等人用插值函数的方法导出了一个递推公式,得到了一类新的光滑函数,解决了关于是否存在以及如何寻求性能更好的光滑函数的问题.然而,支持向量机是否存在其他多项式光滑模型,以及多项式光滑模型的一般形式是什么等问题依然存在.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,提出了多项式光滑的支持向量机一般模型dPSSVM(dth-order polynomial smooth support vector machine).用数学归纳法证明了该一般模型的全局收敛性,并进行了数值实验.实验结果表明,当光滑阶数等于3时,一般模型的分类性能及效率为最好,并优于PSSVM模型;当光滑阶数大于3后,分类性能基本不变,效率会有所降低.成功解决了多项式光滑的支持向量机的一般形式问题.展开更多
In order to improve the learning speed and reduce computational complexity of twin support vector hypersphere(TSVH),this paper presents a smoothed twin support vector hypersphere(STSVH)based on the smoothing technique...In order to improve the learning speed and reduce computational complexity of twin support vector hypersphere(TSVH),this paper presents a smoothed twin support vector hypersphere(STSVH)based on the smoothing technique.STSVH can generate two hyperspheres with each one covering as many samples as possible from the same class respectively.Additionally,STSVH only solves a pair of unconstraint differentiable quadratic programming problems(QPPs)rather than a pair of constraint dual QPPs which makes STSVH faster than the TSVH.By considering the differentiable characteristics of STSVH,a fast Newton-Armijo algorithm is used for solving STSVH.Numerical experiment results on normally distributed clustered datasets(NDC)as well as University of California Irvine(UCI)data sets indicate that the significant advantages of the proposed STSVH in terms of efficiency and generalization performance.展开更多
文摘针对光滑孪生支持向量机(smooth twin support vector machines,STWSVM)采用的Sigmoid光滑函数逼近精度低的问题,提出一种基于Newton-Armijo优化的多项式光滑孪生支持向量机(polynomial smooth twin support vector machines based on Newton-Armijo optimization,PSTWSVM-NA)。在PSTWSVM-NA中,引入正号函数,将孪生支持向量机的两个二次规划问题转化为两个不可微的无约束优化问题。随后,引入一族多项式光滑函数对不可微的无约束优化问题进行光滑逼近,并用收敛速度快的Newton-Armijo方法求解新模型。从理论上证明了PSTWSVM-NA模型具有任意阶光滑性,在人工数据和UCI数据集上的实验结果表明该算法具有较高的分类精度和较快的训练效率。
文摘针对目前光滑孪生支持向量回归机(smooth twin support vector regression,STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale,CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression,SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.
文摘针对光滑孪生支持向量回归机(Smooth Twin Support Vector Regression,STSVR)中Sigmoid函数逼近精度不高的问题,将正号函数展开为无穷多项式级数,由此得到一族光滑函数.采用该多项式光滑函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了多项式光滑孪生支持向量回归机(Polynomial Smooth Twin Support Vector Regression,PSTSVR).不仅从理论上证明了PSTSVR的收敛性和满足任意阶光滑的性能,而且在人工数据集和UCI数据集上的实验表明了PSTSVR比STSVR具有更好的回归性能.
文摘2005年袁玉波等人用一个多项式函数作为光滑函数,提出了一个多项式光滑的支持向量机模型PSSVM(polynomial smooth support vector machine),使分类性能及效率得到了一定提高.2007年熊金志等人用插值函数的方法导出了一个递推公式,得到了一类新的光滑函数,解决了关于是否存在以及如何寻求性能更好的光滑函数的问题.然而,支持向量机是否存在其他多项式光滑模型,以及多项式光滑模型的一般形式是什么等问题依然存在.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,提出了多项式光滑的支持向量机一般模型dPSSVM(dth-order polynomial smooth support vector machine).用数学归纳法证明了该一般模型的全局收敛性,并进行了数值实验.实验结果表明,当光滑阶数等于3时,一般模型的分类性能及效率为最好,并优于PSSVM模型;当光滑阶数大于3后,分类性能基本不变,效率会有所降低.成功解决了多项式光滑的支持向量机的一般形式问题.
基金This work was supported by the National Natural Science Foundation of China(51875457)the Key Research Project of Shanxi Province(2019GY-061)the International S&T Cooperation Program of Shanxi Province(2019KW-056)。
文摘In order to improve the learning speed and reduce computational complexity of twin support vector hypersphere(TSVH),this paper presents a smoothed twin support vector hypersphere(STSVH)based on the smoothing technique.STSVH can generate two hyperspheres with each one covering as many samples as possible from the same class respectively.Additionally,STSVH only solves a pair of unconstraint differentiable quadratic programming problems(QPPs)rather than a pair of constraint dual QPPs which makes STSVH faster than the TSVH.By considering the differentiable characteristics of STSVH,a fast Newton-Armijo algorithm is used for solving STSVH.Numerical experiment results on normally distributed clustered datasets(NDC)as well as University of California Irvine(UCI)data sets indicate that the significant advantages of the proposed STSVH in terms of efficiency and generalization performance.
